こんにちは、人工知能のコースへようこそ。
今日は、A-3の最初の部分について話しています。俳優の批評家の部分を参照してください。
そこでここでは同期的な利点を得ました。
Actor criticアルゴリズム。
そして、我々は、その下線を引いたAkrotiriについて話をするつもりです。
それが私たちが始めるところです。
技術的にはどこからでも始めることができますが、批評家から始める方がはるかに理にかなっています。何が起きているのかを直感的に理解することが非常に連続しているように感じるからです。
しかし、我々はこの収差の終わりにまだ驚くべきことを開始する場合。
これまでのところ、このコースでは、イラストレーターである深い条件付きクール学習を思いついたので、実際の画像とピクセルだけをベクトルで見るようにコンピュータを見ています。
だから、実際には人間が見ているものを実際に見ているのを見ているのです。それはモンスターに見えます。それは、カードが見える底部のパラメータを見ている健康状態、またはこれを再生すると人間が見るように、ゲーム。
その画像は畳み込みの隠れ穴を通過し、それから引っ張りラリアスのフラットを通過してニューラルネットワークに入り、その出力で我々はそれらのキューブの値を覚えていることを覚えている行動を取った後、行動選択ポリシーを適用する彼らへ。
例えば、私たちはソフトマックスを適用し、どの行動をとるべきかを見つけます。
それで、いくらかの探査と開発が続けられています。
この2つの組み合わせがあります。
だから、どのように深い畳み込みのクールな学習が働くのですか？
しかし今、私たちがそれをどうするのか見てみましょう。
だから簡単にするために、私たちがこの画像を調整して動かすので、それがより簡単に操作できるようにするだけです。
私たちは、円を四角で置き換えるか、これらまたは四角の箱に置き換えます。
そして、私たちはまた、これらの行を取り除き、それらを矢印に変えていく間に、これは本質を変えないでしょう。
これはこのチャートの単なる表現です。
これは依然としてこの表現でさえまだ深い畳み込みであるKuleの学習は、私たちがそれを修正し、それが何であるかを正確に示すことがより簡単になるだろう。
だからこそ、ここから私たちが物を表現する方法です。
そして、この特定の部分が何を始めているのか。
我々は活発な批評家から始めて段階的に始めていることを忘れないでください。
だから我々は、クールの深い学びから、A-3へのステップバイステップと最初のステップを見て、この俳優評論家PARTOVIをここで紹介します。
最初のことはこの最後のビットです。
実際には、出力は実際にはこのように再描画するだけです。したがって、まったく同じ出力です。まったく同じq値がまったく同じアクションです。
もしあなたが8つの可能な行動を取っていれば、あなたは8つの行動を取ることができます。これは彼らをトップに置くので、スペースを取らないので、今のところ何も変わっていません。
これとまったく同じです。
しかし今、これは活発な批評家が入る場所です。
私たちは2番目の出力を得ます。
私たちは、最初のものを出力のセットとして持っていきます。ここでは、個別の出力を個別に持ってくるので、技術的にはニューラルネットワークを使用します。
だから1時間に1回。
または、画像や値のようなものは、ネットワークを左から右に向かって行きます。
彼らは実際には2つのセットを吐き出した1つの値のセットを吐き出すだけではありません。
そしてトップは、それが可能な行動であることを本当に知っていると言いましたが、実際にはさらに別の価値があるので、それを見てみましょう。
その価値は何ですか？
だからここで私たちが行くのがトップです。
だから、私たちはちょうどこのイラストのサイズを縮小するようなものです。
上の出力は、前述のアクションのキューブ値です。
彼らは同じことです。
すべてが同じです。
しかし今、この底部と上部は実際にはXと呼ばれています。または、エージェントがそれを望むものを選択する部分であるため、それが俳優の名前を与えることになりますそれはステージ上で演奏していて、もう一度画面上に2番目の名前が表示されると、より意味をなさないでしょう。
そして、2番目の出力はちょうど1つの値に似ていて、それはSのVです。これは状態の値です。
したがって、SのqがAのQである場合、ある行動のq値であり、それはあなたが見ることができるように、ある行動が2つの行動3が6つ以上の行動を意味することを意味する。
したがって、与えられた状態では、■アクションを1つのアクションに作用させるというq値は、1つのアクションをアクションにするなどとなります。
次に、我々はまた、ニューラルネットワークを使って、実際に何がステージの価値であるかを予測し、この部分を評論家と呼ぶことも予測しています。
それは直感的ではない直感的なことです。俳優の背後にある直感の始まりと同じように、ニューラルネットワークからの出力は2つあります。
私たちは今、私たちが今行動と呼んでいる異種交配でそれを持っていました。
しかし今、我々はAksharaと評論家の2つのアウトプットを持っています。
そして、それらの間でダイナミックに動き、さらに探求します。
しかし今のところ、エージェントが現在の状態から取ることができるアクションの値だけでなく、同じ年のネットワークを使用しているこの種の状態にあることの価値を予測することを予測していることを理解することは重要です。
それが活発な批評家の第一歩の中核です。
そして今、私たちは次のチュートリアルで行う同期について話す必要があります。今日の義務と最終的なことの間に何が起こっているのかを正確に理解するためには、パルスとも呼ばれるこれらの重要な価値。
だから、いくつかのブログやいくつかのディスカッションの中には、活発な批評家の中にあるかもしれませんが、著者は、他の文献やブログの投稿や議論の中で、俳優の側のキュー値について話しているかもしれませんポリシーについて話をすると、通常は、ポリシーを表すために、または単に国家の政策を言うために、ギリシャ文字Pのようなユーザーを使用しています。
したがって、これらのポリシーは、すべてのアクションを可能なアクションにまとめると、実行するアクションを決定するというポリシーがあることを覚えているからです。
だから、これらはそれぞれの行動を取る可能性のようになり、それがその方針です。
あなたがどちらかを見れば、投げ捨てられないでください。
彼らは基本的に同じことを意味します。
ここでは、一方では、政策またはq値を、他方ではあなたは州の実際の価値を持っており、その年からそれが予測されています。
ですから、これはアクティブな評論家の始まりです。次のチュートリアルでは、これを同期して見ていきます。
それまで楽しむまで。