こんにちは、人工知能のコースへようこそ。
今日、ベルマン方程式について話します。
それは非常に複雑なトピックです。コースのこのセクション全体にステップバイステップで紹介しますので、すぐにベルモントの方程式の最も複雑なバージョンに直接ジャンプするつもりはありませんが、代わりにそれがどのように機能するかを徐々に理解するためにゆっくりと導入しようとしています。
そして、もしあなたがGならば、そのアプローチであなたの目標を願っています。 R. 真っ直ぐに入ってみましょう。
そこで我々は、我々が運営する主要なコンセプトのいくつかを持ち、これらのコンセプトを持っていきます。
Sは州を表しているので、エージェントが存在する状態、またはそれが可能な他の可能な状態は、エージェントが取ることができるアクションを表します。
したがって、エージェントは特定のアクションリストにアクセスすることができ、アクションは状態の組み合わせで見ると非常に重要です。
だから、あなたがスイング状態にあるときに行動を見ると、その行動の結果となるものは意味をなさないようになります。それは、あなた自身が行動を見たり、状態が本当に意味をなさないということです。あなたがどこにいるのかわからなくて、最終的にどこで終わることができるのかわかります。そして、私たちには報酬があります。それはエージェントが特定の状態に入るためのエージェントであり、ガンマは割引要因です。
そして今、割引率についてもう少し話をしてみましょう。しかし、今はメモを取っています。
私たちがこの手紙Gamelinを持っていて、後でそれを使うつもりであることを心に留めておいてください。
ベルマン方程式の背後にいる人物はリチャード・アーネスト・ベルマンです。
彼は飛行の数学者であり、私たちは今補強学習と呼んでいる動的計画法の概念を思いついたか、今はベルマン方程式と呼んでいます。
さて、私たちは今それを呼んでいます。
そして、1953年に彼はそのコンセプトを思いつきました、そして、それはBelmont Belman方程式が私に来た時です。
ですから、これがどのように機能するかを見てみましょう。
私たちの素敵なエージェントは左下にあり、彼は迷路にあり、これはあなたがいくつかのブロックを持っているかなり古典的な迷路です。ワイドブロックは、エージェントがグレーブロックに入ることができるブロックです。アクセスできないのはこの迷路の壁のようです。
グリーンは、エージェントが最終的に行くことを目指しているべき場所である。
赤は火の笛で、エンジンは火の中に落ちる。
彼はゲームを失うだろう。
だから火の穴にRの報酬はマイナス1です。
それが、あなたがしてほしいものではないエージェントを告げる私たちの方法です。
私たちが犬を訓練しているときの例で覚えているように、同じことをしたい正しいことをしていなければ、悪い犬のように伝えたいと思っています。あなたは正方形で終わってはいけないので、毎回リスがマイナス1の報酬を得るので、マイナス1の報酬で処罰されるでしょう。
一方、それがグリーンスクエアで終わると、それは我々がしたいことであることを意味するプラスの報酬を得るでしょう。
それでエージェントはおそらく得られない2つの報酬です。
そして、どのようにこの迷路での操作方法を学びますか？
歩くことを学んだロボットの犬の例のように、ちょうどここにあなたがすることができる行動を教えてくれることを知らせるでしょう。
あなたは、あなたが取ることができる4つの可能な行動であり、それはそれが右または左に上がることができます。
あなたが思いつくことができるものを見て遊んでください。
エージェントは右に行くかもしれないし、右に2つ以上進むかもしれない。彼らはボタンをランダムに押すだけで左に戻るかもしれない。そして、彼らは何が起こったのか見ようとしているし、彼らはここに戻る。
彼らは上って行く。下に行く。
今のところ彼らは何も学んだことはありません。今のところ何も起こっていません。
彼らは右に行くと、彼らは緑の広場で終わるbam。
だから彼らはわかりました。私はちょうどプラス1つを持っています。私がグリーンスクエアに足を踏み入れると、彼らはプラス1つの報酬を得ました。
そしてそれはアルゴリズムが本当にクールだと言うようにトリガします。
私は正方形で終わることに報われているので、私は正方形で終わりたい。
だから、それはエージェントのために何を意味します。
それは、私がこの広場にどうやって行ったのかという質問をすることを意味します。
前の状態は何だったのでしょうか、私がどのような動きをして正方形にしてから戻ってきて、前の状態がこのようなものだったと言いますか。
それはその状態で価値があることが分かります。
赤い矢の火花を燃やすもの。
あなたはその状態から覚えているとすぐに、犬のためのビスケットのような1つの夢を叶えることができる最大の報酬を得ることから離れているからです。
その正方形は赤い矢印でマークされています。
私がしなければならないことは、右のプレスだけです。
それでは、国家が貴重であることを覚えておいてどうすればいいのでしょうか。
私には実際に代理人としての違いはありません。
私がグリーンスクエアにいるのか、グリーンスクエアのホワイトスクエアにいるのかは違いはありません。
だから私はYスクエアが私のために1の値を持っていることを自分自身でマークするつもりです。なぜなら、私が白い四角の中にいるとすぐに報酬を得るためです。
私はグリーンスクエアにいて、報酬または1つを得るでしょう。なぜなら、この四角形の価値は1に等しいと言うつもりです。私はここで私の報酬が1であることを知っているので、私は、この四角形を、状態にあることの知覚される価値である値への呼び出しとしてマークします。
次に、エージェントはOKになります。
では、どうやってこの広場に入るのですか？
そして、あなたは彼が再び周りを歩くかもしれないことを知っています。
もう一度正方形にして、OKのようになります。その前にこの正方形にどうやって入ったのですか？
そして私がこの広場に入ったのはこの広場でした。
面白い。
私がこの広場に入るとすぐに、私がしなければならないのは正しいことだと分かっています。
そしてここから私はすでに私が勝つつもりであることを知っています。
私はここからすべてがどのように解明されるのかを正確に知っており、私はこの状態にいることの価値が1に等しいことを知っています。
そして、私がここからここまで成長するのを止めるものは何もないので、これの価値は知覚される価値につながります。私は、ここで私が知っていることを意味しているからです。
ここにいると私はかなり素早くここにいます。
だから私は勝つつもりです。
そして、それ以前にこの正方形にどうやって入るのですか？
まあ私はこの広場からこの広場に入った。
だから、価値は同じようなアプローチです。ここにいることの価値も1に等しいので、ここにいるという価値はここにあるという価値に等しいです。それは、それぞれが次のものにつながるためです。フィニッシュライン。
だからこそ、この段階ではかなり論理的です。
これは今、Belmanの方程式をかなり設計しています。
だから、エージェントが迷路を通過するのを助ける方程式を設計することを考えることができます。
だから、報酬を見て、前の状態は、手続きに報酬を与えるのと同等の価値を与えるので、それらのようなものが作成されますパスウェイはすべて素晴らしいですが、問題はここでOKです何らかの理由で私たちのエージェントがこの状態をここで開始してこれらの行動をとるのではなく、実際に状態で開始するのではなく、
どのような行動を取るべきか、どのように覚えているのか、どのように覚えているのか、どのように覚えていますか？
どのようにそれがここから次の継続であるかを覚えています。
それが持っている唯一の値は、一種のものが遠くのものを見ることができなくなると同じです。
それは見ることしかできない。
大丈夫。
私がここにいるものと私がここにいるもの。
どのように行くべきかは、どのように分かっていますか？
まあ、この段階では、それは年齢やどちらの方法でも全く同じではありません。
そして、それがこのアプローチが本当にうまくいかない理由です。
それは非常に単純な説明です。
もちろんそれにはそれ以上のものがあります。
しかし、直感的な方法で、それだけでこのような値を逆方向に持ち越すことはできません。
理由の1つは、いったんエージェントがこれらの2つの値の間にいたからです。これはどこに行くのでしょうか。
それはそれのように混乱することはありません。
それでは、どうやってこの問題を解決するのでしょうか。
そして、これは実際の形でBelman方程式を徐々に段階的に導入するところです。
だからベルマン方程式は、このようなものに見えます。
だから私たちは既にあなたの現在の状態や任意の状態であるような特定の状態にあることの価値について話しました。
そしてプライムは国家であるため、以下の国家は、国家の後で結びつき、協調的行動をとる国家です。
しかし、我々は、多くの行動があり、代理人が取ることができることを知っているので、ここでこのマックスを持っている理由があります。
だから、エージェントに何が起こるかということで行動をとることで、国家資産で行動し、行動をとるなど、国家にいるとしよう。
何が起こるかは、新しい状態になることによってすぐに報酬を得るでしょう。
報酬は、ゲームの終わりにある場合は報酬が1またはプラス1またはマイナス1になることができ、ゲーム全体を通して報酬がゼロの場合は、ゲーム中の報酬がゼロになることを覚えておいてください。
それが報酬です。さらに、私たちはプライムの価値を持つ新しい州に入るでしょう。
それが新しい状態とガンマの値です。
私たちはそれについて少し話します。
しかし、私がここで上げようとしている点、または私がここで上げている点は、あなたが取ることができる多くの異なる行動があることです。それが最大の理由です。
だから行動をとることで報酬を得ることができます。また、新しい状態で終わります。
そして、可能な4つの行動のすべてについて可能な行動の前に、私たちの場合からすべての行動のために、我々はこのような方程式を持ちます。
したがって、これは4つのアクションのそれぞれに対して異なる値を持つための値を持つことになり、エージェントは最適な状態を取ることを望んでいるため、最大値のみを調べます。
したがって、彼が国家にいる場合、彼はこれらの値を見るつもりです。彼は行動に基づいて最大値を見つけ、これらの値の最大値を必要とする行動を取るつもりです。
だからうまくいけば、なぜ我々がここで最大限に活用しているのかが分かります。
それでは、私たちが報酬と価値を得たら、なぜこのGabaaパラメータがここにあるのですか？
エージェントがどこに行くべきかわからないという問題を解決するには、まさにそれがあります。
両側の2つの州の値を比較しており、同じです。
そういうわけで、ギャンブラーはディスカウントファクターをコールして、それを見てよりよく理解するのです。
だから私はここで右上に置く式を取ってみましょう。
次に、異なる州の価値が何であるかを分析します。
ここの州はすべて正方形です。
いいえ。
だから、これらの白い四角形のいずれか一つは、私がその状態にあることの価値を計算しようとしている状態です。
だから、正方形から始めましょう。
この状態にあることの価値は何ですか？
この値をすべてのアクションで最大限に活用する必要があります。
そして、我々は、この値は、フィニッシュラインに近づくにつれて最大化されることを知っています。それは、それがどのように構築されているかを見るだけで、ここでは報酬が得られるので、ここでは割引係数に次の状態。
そして、それは我々がその方程式を構築する方法であるということが意味を成しているので、ここから右に移動すればこの値の最大値が得られることは意味があります。
これは、この状態のこの値が最大値またはこの値と等しい値を計算する方法です。
右に移動する場合は、右に移動するアクションを取る場合は、右に移動します。
それでは、この価値はどうなるでしょう。
右に移動する報酬は1に等しい。
そして、どの色のガンマに関係なく、私たちはすでに最高の状態にあるので、状態では価値がありません。
これが最終段階です。
ここでは報酬を得るだけの価値はありません。それがゲームの終わりです。
したがって、この最大値は1になります。
それで、ここのような国の価値は1に等しいのです。
今私たちが少し前に移動するときに左に移動すると、物事は面白くなります。
それでは、今この状態にあることの価値を計算します。そのために私たちはガバを必要とします。
だから、我々のディスカウントファクターがゼロポイント9で、いったんディスカウントファクターが計算されたらそれがどういう意味なのかを考えてみましょう。
だからここからは、私たちの直感と基礎に基づいて、これがどのように働いているか知っているからです。
ここから私たちはここに行くので、可能な限り最善の行動が正しいことが分かっています。
つまり、あなたはこの状態で最大になることを意味します。
それでここに接続すればどうなるか見てみましょう。
あなたがここからここに行くなら、報酬を得られないことはゼロになるでしょう。
しかし、新しい状態の値の9倍のゼロ点を得るキャミスが得られます。
したがって、この場合、この全体の結果の値は1回a 0です。 9回1は2に等しい。 9。
だからこそ、それはすべての価値です。
だから私たちがこれを計算すれば、ここからそれを見ることができます。
AIエージェントがこれらの事を実験しなければならないことはもちろん、この式がどのように働くのかを理解しているので、私たちが人間であるため、私たちが知っている迷路を見るだけでわかります。
しかし、私たちはクリスタルボールのようなものを持っているので、この全体的な迷路を見ることができます。
今は鳥瞰図のようです。
私たちは、最良の行動が右に行くことを知っています。
したがって、ここにすべてを差し込むと、報酬はゼロになります。また、状態0の値の9倍のレポートもプラスになります。
9はゼロ点80であり、以下同様である。
ここでは0になります。 23と彼は0になります。 66。
だから、割引ファクターの仕組みは、遠く離れた国の価値を割り引くということが分かります。
あなたが金融理論に精通していれば、それはあなたがそれをこのように考えているかのような金の時間価値に似ています。今日5ドル、または10日間で5ドルを好むでしょうか？
もし誰かがあなたに選択肢を与えていたとしても、今日は5ドルを全部で10ドル5ドルでお渡しします。
もちろん今日は$ 5を選ぶでしょう。
何故ですか。
あなたが$ 5を取ることができ、ガンマと非常に似ている特定の金利で投資することができるからです。
そして10日間で$ 5が実際には5ドルと73セントかそれ以上のものに成長します。
そして、それはお金の時間価値がどのように働くかです。
そしてここでは非常に似たコンセプトです。
そしてここでこれを理解する重要なことは、単に強化学習をするという理論に過ぎないということです。
だからRichard Belmanはこの方程式を思いついた。
そして今からそれが私たちの使い方です。
だからあなたは先に進み、別の方程式を考え出すことができます。
それはGamlaを持っている必要はありません。他の要因があるかもしれないかもしれません。
しかし、このアプローチは有効であり、それが私たちが使用している理由であり、これはそれが見えるようなものなので、あなたはそれが州と時間とお金の面でより価値が低くなります。
もしあなたがどこにいるかと言うことができたら、あなたはここにいるだろうか？
あなたはここにいるだろうか？
あなたは私がここにいると言うでしょう。
だから、私たちはガンマを使って人工的に作っているお金の時間価値と同じ現象を作り出しているので、エージェントにインセンティブを与えたり、エージェントがフィニッシュラインに近づくよう促したりします。
だから代理人が尋ねられるべきであれば、この方程式が働く方法のためにここに来るのか、ここにいるのだろうか？
それ以上のことはありません。
これは世界がこのように働くものではありません。
いいえ、それは私たちが人工的に作り出しているものです。これはこれが良いことであることをエージェントが理解するためです。これは良い古き良きですが、これはこれよりも優れていて、これよりも優れています。これに入っています。
そうすれば、エージェントがどの方向に進む必要があるかをすべて見ることができます。
だから私がここに立っているなら、私たちが持っていた問題やここに立っていたことを覚えていて、もしあなたがここに立っていれば、私は降りるか、
さて、値がここにあるので実際には上がるほうが良いことが分かるので、もう問題はありません。
そして、ここからはここよりも値が大きいので、ここから右に行かなければなりません。
そして、ここからここの値があなたが知っているよりも大きいので、Bertschiは右に行く。
そして、ここから彼はすでに彼が正しいことを知っていることを知っています。なぜなら、彼はここで報酬を得るからです。
それでこの全体のアプローチがどのように機能するのですか。
さて、残りの四角形を簡単に見てみましょう。
では、この四角形の値をどのように計算しますか？
ここで物事が面倒なところです。
だからここから実際には右に行くことはできないかもしれないので、実際には右に行くかもしれないので、ちょうどこのように行くほうが短くなるかもしれないので、ちょうどそれを続けることができます。
だから私たちは最初に正方形の値を計算するつもりです。
そしてここから明らかに最善の方法があるからです。
もう一度これは、私たちが見ることができる水晶球を持っているクルーを見ているからです。エージェントが実際にどのようにこれを実際に探検しているかを見ていくと、さらに実験的に自分の好きなことを理解できます。
しかし、私たちのためには、この方法をとる方が良いということを知っていますので、ここで値を計算します。そのため、最初にこの四角の値を計算します。
ここでは3つの可能なアクションがあります。
実際には、実際には4つも残っています。
エージェントは左に押して壁に突き当たり、ここにとどまることができます。
しかし、私たちが知っていることを知っているクリスタルボールを持っている行動を示すシンプルセットのために、どのアクションが実際に同じものであるかを再度知ることができます。
だから、ここからここでも、私たちが水晶球を持っているということだけを知っているから、最善の方法は、エージェントが実験して最良の方法を見つけなければならないということです。
このセクションのさらに下に、実際にエージェントがどのように歩き回っているのか、これらの値を見つけるためにどのように試してみるのかがわかります。
しかし、私たちのために、それはそれがその方法だとわかっています。
だからここですべてを1つに接続すれば最高の出力はあなたが上がるときです。
そしてここに報告書9：0があります。
あなたはゼロ点9を得る。
それで、それを計算するのはカルカです。
同じアプローチ。
これはあなたが行くことができる3つの方法があります。
実際にエージェントのための4つですが、我々にとっては3つしかないことがわかります。
だからここからゼロポイントの80ポイントにはゼロポイントが73ポイントあります。
そして実際にこの値とうまく結びついています。なぜなら、もしあなたが再び値引きすれば、あなたは66を置くから、ここには0があるからです。
これは最適なルートなので23。
だからそこに行く。
それがこれらすべての州の価値です。
そして今、あなたは、この方程式を作ったか、または合成的に作成したということを知ることができます。これは、フィニッシュラインに近づくほど、貴重な状態ではありません。それはどうやって行かなければならないのか。
来るべきそのことについてもっと話し合うつもりです。
今日のセッションを楽しんでいただきたいと思いますが、この段階で少しでも基本的に聞こえるかもしれないことは分かっていますが、このセクションでは少し複雑になります。
それと同時に、あなたがそれに飛び込みたいと思って待つことができなければ、あなたが見ることができる紙があり、Richard
Belmanのオリジナルの紙です。
それは1954年のダイナミックプログラミングの理論と呼ばれています。
そして、あなたはこのリンクでそれを見つけることができます。
そしてそこに行くと、あなたはそれにまっすぐ飛びつき、Belman方程式の著者から読むことができます。
しかし、これはかなり数学的に重い紙であることに注意してください。
そのメモの上で私はあなたの次を探すでしょう。
それまではAIをお楽しみください。