こんにちは、人工知能のコースへようこそ。
今日、私たちは生きているペナルティについて話しています。
ここではBelmanの方程式をすべて取り上げました。このコースを進んでいるうちに、徐々に複雑になってきていますので、ここまででこれらの確率をすでに追加しています。
また、割引率を追加しました。
今私たちは今、報酬を得ている質問のこの側面でより詳細に見ていきます。
以前は、強化学習がどのように機能しているかについて話し合ったときに、エージェントがいて、環境や取引所で行動したり、新しい状態になったり、その行動に報酬を与えたりした結果として行動します。
さて、これまでの例では、フィニッシュラインに到達した場合、またはエージェントがファイアーピットで終わった場合には、プラス1またはマイナス1の報酬を得ることができました。
しかし、これは補強学習のための非常に単純なアプローチであり、より現実的なシナリオでは、旅の途中で報酬を得ることはできません。
たとえばAIがゲームをプレイしている場合、たとえば、誰かを破壊するようなものであれば、その敵を殺すためのポイントを得るか、別の別のゲームかもしれません。
それは、ゲームの分析の方法のためではなく、ゲームのルールのために、それが他の車かそれに類するものを追い越すならば、実際には、ゲームが始まる前に特定のアクションを行うためのポイントを補強するように以上。
だからシナトラはゲームや実生活ではあまり一般的ではないので、私たちの例に似たようなものを紹介しますが、シンプルなバージョンですが、ゲームを通してエージェントに継続的に与えられる報酬最後だけでなく、私たちがやる方法は他のタイルを見ることです。
だから今、私たちは報酬に最終的なタイルと報酬を加え、残りのファイナル・タイルの報酬はマイナス1になります。
しかし、今は毎回報酬を追加します。
我々はマイナス0になる非常に小さな報酬を追加します。 04。
あなたが見ることができるように、エージェントが動くたびに彼は負の報酬を得るでしょう。それは生きているペナルティと呼ばれています。なぜなら、どこに行くにせよ、最終的なタイルを除いて常にこの負の報酬を得るからです。ゲーム。
そして、あなたはこのタイルでさえ報酬を見ることができます狂気やパズルです。
しかし、それは彼がその報酬で始まるという意味ではありません。
彼はこの報酬を得るだけです。
そして、これは重要なことです。タイルに入ると報酬しか得られないので、ここに行くと約束したときに報酬ゼロを得ることになります。
04そして彼はこのスタイルに戻り、彼は別の心と0を得ます。
04語
そして彼がもっと長く歩けるほど、彼は自分の負の報酬を累積するので、可能な限り速やかにゲームを早く終了させるインセンティブとなります。
それでは、今回の報酬に対してどのような価値を設定したかによって、私たちのポリシーやエージェントポリシーがどのように変化するかを見てみましょう。
ここでは4つの環境があり、それぞれ異なる環境を探索する予定です。
計算はしません。
結果を投影するだけで、直感的に理解できるようになります。
だから、ここでは、どんな状態になっても何の措置も提供していないという報酬を得ている。
ゼロに等しい。
私たちがここまで見たように、報酬はMeiの0になるでしょう。 0。
私たちがちょうど今行ったことは、報酬がマイナス0になることを知っています。
5または罰金を与えるレベルは私のものになるでしょう。あなたがここで10倍以上の大きさを見ることができるほど高い火災です。
そして生きているペンハールはマイナス2になります。
だから報酬よりもあなたがジャンプするか、報酬よりもあなたがエージェントがファイアーピットで終わるために得るよりも少ない。
だから、この報酬に応じてこの環境を渡すための行動や最適な方針がどのように変わるかを見てみましょう。
これが私たちの元の政策です。
あなたが覚えているように、我々はこれらの2つの非常に興味深い、そして少しでも奇妙な代理人による決定をしましたが、彼が好きな限り生き続けることができれば完全に意味があります。
非常に長い間生き続けるために罰せられることなく、彼が望む限り、周りを旅行することができます。
彼はなぜここに壁に入るだけで、それが起こるまでそれをやり続けますか？
それは彼がこのように行って、次に歩くことになる。
そして同じことは、彼が壁に飛び込むのがずっと安全だということです。そして、これらのうちの1つが最終的に登場することを望んでいれば、とにかくフィニッシュラインに行くでしょう。
。
今、ステップを作るための人生のために報酬の負の報酬を追加するとどうなるか見てみましょう。
ここに移動すると、すぐにこれらの2つが変わったことがわかります。
エージェントは壁に飛び込みたくはない。
彼はここに飛び込む可能性が10％の火災になる可能性が高いですが、彼がここに来るたびにここでそれを見に来るたびに彼は80％の確率でこの状態に入るアクションを実行します。
つまり、マイナス0を得る確率は80％です。
04報酬は、これがこの負の報酬を累積することになるだろうということを意味します。
実際にランダムに右に動かされるときに彼がその瞬間を待っている壁に飛び込むならば、同じことがここにある。
彼がこれを続けていくと、この負の報酬が蓄積され、計算を実行すると、そのアプローチの期待値が壁に飛び跳ねるという結果が、今後のリスクを取るよりも悪いことがわかります実際には火球で終わってしまいます。
そこで、彼はこの2つのブロックの決定を変更し、前方に移動し、ここでは左に移動します。火災の危険性があることを知っていても、単に生きている時間が長いほど、次の環境でこの生きているペナルティを蓄積します。
今私たちは生きているPounceyをさらに多くのMeinzerポイント5に増やしています。ここで何が変わるか見てみましょう。
だから今この環境に比べて見ることができます。
ここで変更されたのは、この矢印が右を指していることだけです。
その意味するところは、もはやエージェントのための良いオプションではなく、実際には、この矢印は左とノズルの鼻が上を向いていることを指していたということです。
だから、エージェントがここから帰るか、まっすぐに行くのは良い考えではなくなりました。彼が間違っていれば、彼は安全ですか、火かき棒を手に入れられる可能性は低いからです。
しかし、同時に、またはチャンスが少なくなる可能性があります。
しかし同時に、彼は歩いていくにつれてかなりの負の報酬を累積します。
だからそれは道のりが長すぎることです。
それで、ここに来るのか、ここに来るのかは、彼が火の手に入る危険性がはるかに高いにもかかわらず、ここに着くための短いルートを取るかどうかを強制します。なぜなら、彼が四角で終わるとすぐに、火に着く確率は10％
。
彼の計算によると。
このアプローチの期待値は、この生きているペナルティを増やしたために単純に回避することの期待値よりも優れています。
そして最後に、マイナス2ポイントゼロの生きているペナルティを使ってこの例に至っています。
だからここで私はあなたがロードパンツのペナルティを増やすようにポリシーがどのように変わったのか見てきたので、ビデオを投稿することをお勧めします。
私はビデオを一時停止し、このシナリオで何が起こるかあなた自身のために考えることをお勧めします。
あなたが望むなら、生きているペナルティが非常に高いので、このすべての想定されるビデオが得られるという最適なポリシーが与えられると思いますか？
今度は、ペナルティをマイナス2に増やすと、この場合のソリューションを示すようにジャンプします。
0はとても高いので、ペナルティはマイナス1にすぎないことを覚えておいてください。
0は非常に高いので、たとえそれがちょうどファイヤーピットに飛び込んでいても、エージェントがゲームのどのような方法でも外に出ようとしているだけです。
彼はそれをするでしょう。
彼は私があなたの州の新しい場所で終わるたびにステップを踏み出すたびに、あるいは私が行動を起こすたびにマイナス2の報酬を得ることになります。
だからここからフィニッシュラインに到達しようとすると、2つのステップが必要になります。
私はちょうどここに行くつもりですし、私の報酬が負の報酬よりも小さくなるようになるので、火災にまっすぐに行くつもりです。報酬と我々が追加している報酬の価値に応じて、結果は異なってくるだろう。
エージェントはさまざまなポリシーを選択する予定です。基本的には、決勝ラインだけでなく、ゲームの終盤であっても、ゲーム全体でさえも、報酬値がどのようになるかはベルモント方程式によって反映されます。
また、環境そのものに応じて、毎回1​​つの状態になる必要はありません。
特定の特定の州の代理店には与えられないかもしれませんが、単純化した例では、すべての州で報酬を使用しています。
このコンセプトを説明するために、今日のチュートリアルを楽しんでください。
ご覧のように、Belmanの方程式はすでに非常に洗練されています。今では、さまざまなシナリオに適用することができ、次のチュートリアルではわかりません。
そしてそれまでは楽しんで。