こんにちは、人工知能のコースへようこそ。
今日、私たちはついにクール学習について話しています。
さて、この方程式には既に多くのコンポーネントを追加したベルマン方程式があります。
私たちはここで報酬を得ていますが、これは最後だけでなく、どのような段階でも可能です。
割引率があります。
意思決定プロセスの兆しを見ているので、我々は確率を持っています。
そして、ここでは、私たちがどんな行動をとるか、実際には私たちが取る行動をとっても、異なる州で終わる可能性があります。
私たちが終わることができる複数の状態が存在する可能性があり、再帰的な関数などのように次の状態の値を得ますが、おそらく1つの質問が残っている可能性があります。
問題は、これがすべて文字Qではないところです。Qなぜそれはすべてqと呼ばれますか？
学ぶ。
それでキューはどこですか？
そして、それは私たちが今日答えるだろうという疑問です。
これまでは、特定の状態にあることの価値を価値観に取り組んできましたが、ここでQがそれにどのように適合するかを見ていきます。
ここでは、左に2つの例がありますが、これまでエージェントが分析してきたことです。
私はここにいるよ。
これは意思決定プロセスの兆候なので、私がここにどのようになっても問題はありません。
環境の残りの部分は、これから私がここに着くのに必要なステップを気にしません。
私は最適な決定をしなければならない。
現在の状態と、ここから来るすべての未来の状態に基づいていますが、過去からではありません。
そして、彼は3つのオプションがあることを見ることができます。
彼の経験に基づいて、彼はこれらの州の価値を計算しました。そして今、彼はベルマン方程式を使うつもりです。
だから、これは古典的なProcesoですが、彼はここに行くことを知っていますが、彼が右に進むなどの機会があります。
したがって、これらの価値に基づいて、私たちがこれまで行ってきた決定であり、それはここで全く正当なアプローチです。
しかし今は少し改造されています。
私たちは同じ正確な問題と同じ正確な考え方をとるつもりですが、ここでは彼が終わることができる各州の価値観を見るのではなく、各行動の価値や価値を見るつもりです。
だから、私たちはもう文字Vを使用しません。なぜなら、州の価値については、Qを使うつもりで、なぜあなたはQという文字を持っているのかもしれないからです。
Q一部の人々はそれを推測しています。
Qこれを読みますか？
私はQuoraについて考える。
誰かが、Qは質のためだと言いましたが、それと同時に私は他の言及を見つけることができませんでしたので、それはそうではないかもしれません。その時に使用された文字であり、すべてがキーラーニングと呼ばれています。
だから正確な理由はない。
Qしかし、少なくともそれはVとQのQを区別するのに役立ちます。
それは、それが表す品質の価値を提示する国の価値ではなく、プレゼントがありました。
これは、表現するアクションの品質を表します。
はい、私は4つのアクションがあります。
これらの行動のさまざまな性質は何か。
行動の価値や行動の質はどんなものがより有利なので、私はこの行動を数量化する方法を教えてください。そしてそれを比較することができます。それはまさにQです。
そして、彼は4つの可能な行動を取っています。
常に左または右に上がる。
そして、アクションに基づいて、私たちがそのアクションのQ値と呼んでいるそのアクションの定量可能な値を教えてくれる式になります。
では、この式をどのように導き出すかを見てみましょう。
Q実際にどのように関係していますか？
あなたは行動が州につながるので想像することができるので、2つの間に何らかの種類のリンクがなければなりません。
私たちは既にこれを計算する方法を決めており、それをかなりうまく使っています。
さまざまな合併症の多い非常に異なる環境でBelman方程式を使用する方法を知っています。
その知識を活用して、今どのように計算できるかを理解しよう。
Qあなたが想像しているように、私たちがどのようなアプローチをとっているかに依存して変化しないので、同じ予測をするために、環境は関係なく同じになるでしょう。
したがって、このアプローチとこのアプローチは常に同じ結果をもたらすはずです。したがって、これら2つがリンクされるべき別の理由です。
だから見てみましょう。
ここでは、この州または他の州の所与の州の価値を見るだけの視点アプローチがあります。
そして、ここでは、それが現在の状態であるため、ここでリードを使用しています。
したがって、用語は両方の方程式で同じになり、ここではqをQとして使用します。状態sと動作の和です。
Aアクションは稼働しているが、どの状態でそのアクションを実行しているため、そのステートでアクションを実行しているためです。
それでは、ここでわかるように、最初のアプローチのBelman方程式を乗り越えようとしています。つまり、与えられた状態の値が得られているか、または最大のベットを得た報酬の最大値ですあなたには3つの行動があります。
この場合、あなたは実際には4つのアクションを持っていますので、これまで何度も議論してきたこのパートの可能なすべてのアクションから最大限に抜け出しました。これは、実際には州プラザのディスカウントでそのアクションを実行することから得られる報酬です確率的プロセスなので、期待される値になる新しい状態の値。
私たちは、ここで終わることを確実にしているかどうかは分かりませんが、左または右の確率で終わるかもしれません。
それがこれらの確率があなたの中にある理由です。
そうです、それが私たちの価値です。
そして今見ましょう。
Q Qが定義されます。
これを使ってQを定義します。この状態からこの場所にあるエージェントがアクションを実行するとしましょう。
q値はどのように呼び出されますか？
まず最初に、このアクションを実行することの代償として彼が得られるものを見てみましょう。
あなたが得る最初のものは報酬の権利です。
それについて間違いないことを知っています。
何らかのルールがあるか、ゼロかもしれませんが、全体がこの強化学習プロセスの仕組みであることはわかっています。一部の町では特定の州または地域から特定の行動を行っています。
だから私はここにそれを追加するつもりです。
そして、追加するものを追加します。
さて、それについて考えてみましょう。
彼がそこに行った後に起こる次のことは何ですか？
さて次に起こるのは、エージェントが特定の状態にあり、ここで80％の確率で、あるいはある確率で終了することができるということです。
しかし、実際にここにここに実際に。
しかし、彼が今どこで終わっても、彼はすでに彼がいる状態の定量化された計量を持っています。
それは実際にはその状態の価値です。
しかし、彼は多くの異なる州と可能性のある3つの州のうちの3つに出てきたので、彼がいる国の期待値を見なければなりません。
それで、追加する予定で追加する予定です。
もちろん、それは将来どこかにあるため、私たちが以前に持っていたような割引要因です。
そして、我々は、可能なすべての状態に渡って、すべての可能性のある状態にいくつかを追加して、このアクションをとることになります。
確率の条件。
だから私たちがここで言っていることはOKです。そうすればアクションを実行することで、報酬プラスを得ることになりますPlusは定量化されたメトリックですプラスあなたが得ようとしています。
あなたは私たちがここにいることがわからない状態になります。
ここにここにいるかもしれない。
しかしここに、あなたが終わることになる国の期待値があります。
そして今、割引率で乗算するつもりです
つまり、これはパフォーマンスに関するセクションのQ値です。すぐにここに気付くのはそのことです。
Q Q値は、実際には、ここでの角括弧内の値とまったく同じです。
なんで。
さて、ここで考えてみると、可能なすべてのアクションの中で最大限の結果が得られるように最大限努力しているので、それぞれのアクションを取ることによって得られる可能性のあるすべてのアクションに対して最大限のアクションを取ることができます我々が定義しているエンキュー。
面白い。
私たちは何らかの行動をとって何を得ますか？
だからあなたがそれについて考えるなら、それは国家の価値という意味になります。
したがって、たとえば、この状態はすべての可能なQ値の最大値です。
そうですね、ここにいる州では、エージェントはq値の3Q値を維持するための1つのキー値を持っています。
可能なQ値は正の値をとりますが、ステートの値はこれらの4つのキー値のすべての最大値です。
それはまさにここで見ることができます。
それが私たちが派生したこの新しい公式の良い確認です。
もしそれが一致しなければ、私たちは疑問を抱くでしょう。
それでなぜそれがなぜ合わないのですか？
なぜそれが合っていないのですか？
Q値はアクションを実行するための定量化されたメトリックであり、Vはフロアに依存する。
彼はそれが意味を成し遂げることができる4つの行動の可能な結果の最大は同じですか？
そして、それは私たちがちょうど派生した数式を確認しています、そして今、私たちはそれをより面白くするつもりです。
Wiiが再帰的な機能を持っているのを見ることができるので、私たちはWiiを完全に取り除くつもりです。
だからあなたは私とBとBとBの順番でそれを持っています。
だから、あなたはこのビューを以下のすべてのVeeで表現することができます。
私たちは、Qを期待しています。次のVの関数としてORの再帰関数をファンクとして、このVをプラグインする必要があります。その後、Bに戻ります。
それで、私たちは実際にこのVをとるつもりです。私たちはこれをQと置き換えるつもりですので、それを見てみましょう。
次の状態のこのVを取るつもりです。ここでは、この式にこれを接続します。
そして、あなたが今見ることができるように、この部分は変化しません、この確率は変わりません。
しかし、私たちが議論したように、sのqのすべてのアクションとここでの権利によってsの最大値が決まります。
それがここで取り替えようとしているものです。
だから、私たちはWiiをプライムとして持っているので、我々が取る予定の新しいアクションは、もちろん最大限と言えるだろう。
だから今ここでは最大のコンソールを素早く手に入れました。
だから我々がこの状態から取るつもりは、どこに他の国が入るのかどこからでも行こうとしているが、ここからMaximaとそのすべてを越えて行おうとしている行動は、すべてのキューブ値のその新しい州では、プライムコンマをプライムとして利用することができます。
それが行動です。
だからそれはです。
だから別の4つがあるだろう。
そこにQ値。
今すぐあなたが再び見直されるのを見ることができます。
だから我々が導いたものから、この言葉は論理と直観のちょうどそのものであり、VNSは実際にはASのものであり、そしてVとは関連していることがわかります。
SはキューバSのすべてのアクションで最大です。この部分はこの部分と同じですので、ここで見ることができます。
そして、我々はそれを活用しようとしています。このビットをここからのVNSで置き換えますが、この正確な漏斗ではなく、この内部部品を取って無罪を殺すように置き換えます。
ここではプラグインするつもりですが、この部分はCrucell a PriamのQ
As Primeをプライムとした場合、キューブの最大の最大値のqとなるでしょう。
今、私たちは公式を持っています。
これでq値の再帰式が得られるので、エージェントはセクションの値が何であるかを考えることができます。このセクションの品質はこのアクションの新しい価値でした。
まあ、それは私がその直後のステップで得られる報酬にもよりますが、それは割引ファクターとその州のすべての可能なQアクションの最大値に依存します。
しかし、私はその国でその国を見る必要があるかどうかも分かりません。なぜなら、私たちはここにこの期待値を持っています。
あなたが見ることができるような非常によく似た式ですが、今回はq値を使って表現しています。そのため、このアルゴリズム全体をKill
learningと呼んでいます。これは、エージェントが実際に使用しているもの州では、可能な行動を見て、次に行動のq値に関する行動に基づいて、どの行動をとるべきかを決定する。
だから、彼らはこの特定の状態で最大のQ値を見るだけで、4つの動作をします。
最良の行動をとることができるので、最終的に終わる可能性のあるさまざまな状態を比較することができます。現在可能な行動を比較し、最適な行動がその行動をとって行動するそのプロセスを繰り返すことを繰り返すことになります。
だから今、あなたが適用できるq値のためのこの非常に強力なBelman方程式に合図するために、割引きの事実または確率的な市場決定プロセスと価値とqの値がすべて一緒に来る仕組み私たちの代理店に環境を打ち負かす方法を教えさせてください。
そしてそれは何が起こっているのか直感的な説明です。
私は式を通過したことを知っていますが、これは私たちの公式のようなものなので必要です。私たちはこの全体の章を辿ってきましたが、それはToから良い移行だと思います。
QそしてそれはYishunの間のリンクがどのようにしているかを示しています。さらに厳密なアプローチの数学的アプローチをもっと得たいなら、その背後にある数学を見て、q値とその働きについて少し学んでください。
それから、もう少し読んだことがあります。
この論文は、Markov決定プロセスの概念とアルゴリズムと呼ばれています。
だから、あなたはいつものようにここでリンクを切っています。ここで、ヒューの価値観の背後にあるぎこちなさをすべて理解するためにもう少し詳しく読むことができます。そして今、ベルマン方程式に関するこれらのことのすべてについて議論しました。この文書のようなもっと複雑なものを見るためには、もっと深い理解を得るためにこれに関するいくつかの追加情報を入手したいのであれば、
しかし、あなたが新聞やラジオを読んでいないとしても、どのような学習であるか、そしてエージェントが特定の環境で取る必要がある行動がどのように出てくるかについての良い実践的知識が必要です。
ですから、今日はStatoilを楽しんでいただきたいと思います。私はあなたの次のものを楽しみにしています。
それまで楽しむまで。
私。