こんにちは、人工知能のコースへようこそ。
今日の話では、3Cの最後の話をしています。
我々は利点について話している。
だからそこにある。
我々は既に俳優批評家と以前の同期について話してきた。
そして、彼は今日私たちが見ていることへの道を築きました。そして、我々はすべてを一緒にするつもりです。
だからこれまでのところ、非同期エージェントと非同期エージェントの間で共有されるニューラルネットワークがあり、それから私たちは年齢などの間で共有される評論家を持っています。
これはどのようにして再生され、なぜこの評論家がエージェント間で共有されるのでしょうか。
それを見てみましょう。
たとえば、このエージェントを見て、特定の州にいるときに何が起こるかを見て、どのアクションを実行するかを決定する必要があるという例を見てみましょう。
だから、このエージェントはこのイメージを見ている状態にあります。そして、この情報がニューラルネットワークに入り、それが畳み込みの巣箱に入り、それからプールの巣に入ると、それは平らな巣に入り、そこからそこに入りますニューラルネットワークの隠れたレイヤーを作成し、出力として、これらのポリシー値のすべてを取得します。
そして、彼は評論家の価値を得ます。
そして、私たちが動作させるためにニューラルネットワークを知るようになると、ネットワークを介して特定のエラーや損失を戻す必要があります。
このようにウェイトを更新するには、何を待っているのか、それともどのような損失があるのか​​、ここで扱うことになります。
さて、我々は2つの損失です。
価値の損失と郵便があります。
したがって、価値損失は価値に関連しており、部分損失はプールにリンクされており、価値があります。
私たちはこれまでにすでにそれを扱ってきました。
我々は報酬を得ていることを知っており、割引率があることを知っているので、基本的にこれはディープ・ラーニング・チュートリアルの変換で話していたものと非常によく似ています。
基本的に、ネットワークは一定の値Vを予測し、同時に、環境について何を知ることができるかを推定することができます。これまでは、状態が何であるべきかを見積もることができ、損失およびその後のプロパゲータ・ネットワークは重みを更新する。
それは、ここで新しいことを補うことは、政策の損失です。
それでは、この政策上の損失とはどのようなものですか？
これは、批評家が俳優の間で、またはエージェントの間で共有されるこの全体的な状況が最終的に出現する部分である。
だからパルサスの損失を理解するためには、アドバンテージと呼ばれる値を導入する必要があります。そのため、Salyutのこの部分全体のストーリーのこの部分の名前と利点は、AのマイナスVのQとして計算されます。
つまり、基本的にQ値か、あなたが状態Sの状態からその状態の値を差し引いた状態で再生するように選択したすべてのアクションを再生することを選択したとします。
これは2つの違いです。それはそれを1つと呼んでいます。
そしてその利点は、無脈動の計算に使用されます。
今は、エントロピーを使用するか、またはエントロピーを使用することができないため、非常に複雑なので、無刺激計算の式には入りません。
私たちはその式を解くつもりはありませんが、直感的なレベルでこれを理解しようとしています。
なぜ我々はこれをやっているのですか？この利点を計算する理由と、それがどのように役立つのでしょうか。
さて、この前提を1秒間見てみましょう。
ここでのQ値は、ニューラルネットワークがこのエージェントに対して予測したものから来ており、この特定の状態でこの特定の状態でそれが再生できるアクションを予測するので、これらのアクションを得て、そのうちの1つをスライドさせて再生することができますWiiの価値は批評家によって決定される価値です。
私たちがこの共有部分に持っている価値は、この部分が分かち合い、評論家が壊れるようにするための鍵です。これが、信用度がどのように作用するからです。
私たちが選択した価値を持っているか、その状態でこのエージェントのためにプレイすることを選択した行動があるからです。
しかし、批評家は、この状態の既知の価値が何であるかを私たちに伝えることができます。彼らはすべて、これとは異なるセットのために計算されているこれらのv値に貢献しています。 zアルゴリズムはOKと言います。
したがって、評論家は、既知のv値と比較して、選択しているq値がどれだけ良いかv値を知っています。
それはそれが言っていることです。
それは基本的にそれです。
ここで私のポリシーに基づいてここでq値を選択するつもりです。これは、ソフトマックス関数やonやEpsilon
Grealyなどのポリシーを使用するかどうかに基づいています。
そしてもちろん、私たちは探検とそこでの搾取を一緒にしていますが、私たちはQの価値を選んだのですが、今質問は余分なものです。
それは、あなたの選択した行動が、その国の既知の価値と比較して得られる優位性であり、それが利点の本質であり、基本的にそれが政策損失を計算するために使用され、その後、ネットワークに戻ることができます。
だから、彼らは両方ともネットワークを介して伝播しており、ネットワークが評論家の価値をより良く表現するために重みが調整され、それもトップ・パートです。
しかし、ここでもこの鍵の一部は、重みがバクラの価値であるということです。
このポストオフィスは、レートがこのような方法で調整され、この利点が最大限に役立つようにネットワークを介して最後にこのポリシーを最後に戻したことを直感的に理解できるように調整されることを忘れていますこの利点。
それは基本的には、エージェントが、qの値が状態の既知の値よりも小さいアクションのような悪いアクションに遭遇した場合です。
だから、基本的にATCのアルゴリズム全体は、状態の値が何かXであることを知っています。そして突然あなたは非常に悪い行為に出くわしました。
そしてそれが熱意のために何を意味するのかということは、私たちがすでにこの全体の環境について知っていたものよりも悪いとき、そして何ができたのかというようなときに、なぜそうするだろうかということです。
だから私たちはそれ以上のことをすべきではありません。
したがって、体重はちょうど途中にあり、起こることはまれです。
だからそれほど稀ではありません。
だから私たちがその悪い行動を選ぶことはあまりありません。
一方、q値がVより大きい、またはネットワークを通じたポーランド人の損失の逆戻り中に、重みが更新されるような非常に良いアクションを選択すると、実際にはウェイトが非常に高いということを本当にクールにするように、ウェイトが調整されるように、再び起こることを安心して奨励してください。
私はそれ以上のことをしなければならないので、将来的にその行動が起こる可能性がより高くなるような方法で体重を更新するでしょう。
だからあなたは、ネットワークがゆっくりとゆっくりと徐々に適応し、ゆっくりと一方的に値を正しく計算し、次に正しい計算をするようなものにすることを知っています。
一方で、それは励ます、またはそれは高い利点を持つ行動を持っています。
だから私たちはそれがこの部分です。
そして、ちょうど私がトップ1で議論したことを強化するために、別のものを見てみましょう。
同じことがここにあります。
トップの機関は、状態に状態があり、次にこのイメージのネットワークへのこの情報がインターネットの再成長を利用して畳み込みされているため、彼らは彼らの平らげを引っ張っているので、何をすべきかを決める必要があります。Lehreは隠れた層に入り、私たちは、私たちが2つの損失を持っているのと同じことを再びV値を得る政策の鋭い価値を得るという成果を得る。
ここでは価値損失であるポーランド損失である価値損失があります。
我々はすでにどのように計算されているか知っています
私たちが深いQ学習でこれについて議論したばかりで、ちょうど今も議論しています。
そういうわけで、私たちが彼のために行かないことを計算するために、値がどのように計算され、次に政策損失が再び計算されるのです。
しかし直感的なレベルで私たちはその優位性を計算していますので、私たちは選択ポリシーに基づいて特定の行動を選択しました。それは、ソフトであるかどうかにかかわらず、貪欲の最大値またはそれ以上の売り込み量、
それでは、私たちが取った行動は何ですか？共有された批評家から来た状態の既知の値と比較してみましょう。この批評家は、同時にこれらのエージェントのすべてを観察しているようなものだと思うかのようなものですこの1つを見てみると、批評家が環境をスピードアップして批評家が実際の環境で起こっていることを表していることを確認する批評家に貢献しています。
これは、実際のニューラルネットワークの重みが環境内の物事の実際の状況を非常に良く反映するように、値損失が発生する場所です。この値に頼り、ここで使用することができます。
基本的にはそうです。
したがって、これらのエージェントのすべてがこれらのエージェントのすべてがこの批評家に貢献しています。
しかし、同時に、この無価値を通じ、同時に、評論家は、これらの機関の決定または政策を観察している。
それは私がポールに矢印のように矢印を描くようにしているように振り返るようなものです。
だから、彼らが決定したときに彼らを振り返り、その決定を批判し、あなたがあなたがこれを選ぶ決定を下したと言って、あなたはこの行動を選んだのです。
それは素晴らしいことです。
それでは、牧場の利点や不利益を計算しましょう。あなたのQ値が私の決定を下したかもしれない、あるいは私が作った選択が、批評家に知られている価値をマイナスにすることを選んだことが分かります。
評論家についてではない。
だからKalikaの違いはあなたがポーランド人ならば、あなたがあなたの損失を払拭してネットワークを伝播して調整されるようになったら、起こらないような方法で重みを調整するように促すでしょうそのQ値またはそのQ値がより低くなるので、私たちの方針はq値に基づいてアクションを選択するので、Q値が高いほど選択される可能性が高くなります。
だから、アークマックスポリシーのようなものを使っていたら、これまで議論したことを覚えているうちに、常に最高のものを選んで、最高の価値を持つものを選んでいます。
しかし私たちは実際に、私がソフトマックスやアップセーリングの欲張りポリシーのような確率的アプローチを使っていました。
そして、基本的にはどこから選ぶことができるのかを選択していましたが、立方体が高いほど良いです。
だから私たちが何かを選んで利益が非常に低いなら、爆弾はネットワークが次回その行動の価値が少なくなるような方法で追加されるだろうし、多分何か他のものが増えるだろう。
だからこそ、それがどのように分かれているのか、そして、その優位性が高いところで何かを選べば、これは政策法とネットワークに入り、私たちはそれを更新します。シナリオ。
そして、基本的にこのポーランド人の損失は、私たちがそうするようにネットワークを適応させるか、変えさせるのに役立ちます。
良いものの道徳的な良い行動と良いものと悪いものの少ないことを行う。
そして、それがこれらの2つの損失がどのように作用しているか、そしてそれが彼らがどのように適切に戻ったかです。
だからうまくいけば、非常に直感的な方法でクリアすることができます。もちろん、この複雑な数学に数式を組み込むことはできませんでした。
しかし同時に、直感的なやり方で直感的なやり方でうまくいけば。
これらのすべてが、俳優と評論家を持つ理由と、これらのエージェントが非同期または同期の側面を持っていることを知っていることを相互にどのように相互に作用させるのかを明確にします。
そして、これはあなたの俳優と批評家であり、これが利点であり、そのすべてがどのように作用するのかです。
したがって、これらは同期エージェントです。
彼らは行くつもりです。
彼らはこれを演じているか、環境を探索しており、環境を通して働いています。そして、彼らはすべて、これが呼ばれているアクターを観察する政策を観察している評論家に貢献しています。
そして、それを通って、それゆえに、これは損失をもたらし、その後、政策と価値の損失をもたらすか、または単にネットワークに伝播する。
一方では、環境における真のものを表しています。
俳優のパフォーマンスを改善するためのもう一つの手。
だからそこに行く。
それは私たちが議論した直感を素早く要約したものです。
もう一度、これが直感的なレベルで一緒に集まり、実践的なチュートリアルで一緒にやって来ることを願っています。アトランタでこのすべてがどのように機能しているかについて詳しく説明します。
しかし、このイメージをあなたの心に残して、このようなものがすべてのロードマップのようなものであれば、うまくいくはずです。私は物事の実用的な側面をよりよくナビゲートするために非常に役立つことを願っています。
今日の追加読書の面では、2つの要素があるので、最初の方が有利です。
だからここでは、ジョン・シュルマンの一般化された優勢推定を使って、高い痴呆性の連続的な制御を得ている。これは立って立つようなスティックフィギュアのイメージである。
また、ここでは優位性と優位性についてさらに詳しく知ることができ、さまざまな利点をすべて見つけることができます。
推定では一般的な利点があります。計算のフォームで実際に使用する利点があります。その利点については、その背後の数式とトップトップの要素や公式であり、この利点の空間には穴がない。
我々はそれらを議論した。
これは行く記事です。
もう1つの要素、または私たちが思い出させたいと思っている作品は、ブログでArthur
Giulianiのブログ記事をご覧ください。
これは特にA-3海についての部分8です。
ここであなたは注釈の説明を得ることができます。
ですから、何が起こっているかについてもう少し数学をすれば、ここからいくつか追加の事柄を拾うことができます。
まず第一に頭に入れておくべき2つの事柄は、常にこのblogは私たちがパイロットを使用している強いフォロワーです。
だから心に留めておいてください。
もう一つは、私たちのアプローチを構造化する方法は、まずアクティブな批評家について話し、まずは同期について話したということです。
そして、我々は利点について話しましたが、アーサーの最初の講演では、Synchronossについての俳優評論家の優位性を心に留めておいてください。うまくいけばそれはあなたを捨てません。
しかし、それ以外のコンテンツは大変です。
また、いくつかの追加情報を確認することを強くお勧めします。
そこで、今日のチュートリアルを楽しんでください。
そして、私は次回にお会いするのを楽しみにしています。
それまで楽しむまで。
私。