こんにちは、ストーリーへようこそ。
今度は、ポリシー・ロスと価値損失を計算するforループを作成し、これらの2つのレッスンが終わったら、オプティマイザを使用して砂の中にシガレットを入れて損失を減らすことができます。
さあ、そこに行くよ。
このセクションを実装した前のチュートリアルの方法でここから始めます。私はこのことについて残念なインデントを削除するのを忘れました。
だからここから出発するのは秋にはない。
今度は新しいフルループを開始していますので、ここから4つのトラックを開始します。
今私たちがやることは、探査中に最後に行われたステップから始めて、時間の経過とともに後退することです。
だからこそ、私は逆の範囲の土地報酬で私がやっているのは、最大の報酬は最小です。
探検の各ステップは、私たちが働いている場所に関連付けられているので、各ステップで我々は言葉の時に報酬を得るからです。
この数のステップは、ここではこれを逆にして、時間を追って移動して行くようにしています。
そして今、我々がやろうとしているのは、遠い累積報酬を更新することです。このように更新するつもりです。
それは実際に私たちがDoomに対して行ったことと同じです。
これは、ガンマと同じです。私たちがパラメータから得て、最少の報酬を取って指標を取ることで得ることができる報酬をそれほど凌駕しない最初のプログラムから取ります。
だから私たちのためにこれは最後の仕事になり、前日の報酬などになります
ガンマで乗算し、次にこの報酬をセットで追加することで、我々が更新するたびに更新されます。
そして、これを行うことによって、我々は最後に覚えていることを忘れないでください。
だから私は彼らが来るようにそれを書くつもりで、我々は我々のゼロへのループの最後にクールになるコミュニティ報酬を得るでしょう。
ステップゼロとガンマ時間の報酬は1です。
私たちは最初のもので、ガンマ平方和の時間は単語のものです。
2番目のステップにプラス1のパワーとマイナス1のステップで得られた報酬プラスマイナス1では、ステップ数は任意ですが、最後には慎重にガンマをステップ数の威力で得ます。
時刻は、最後の状態に適用された関数の値を評価しない。
それは私たちがまだ得なければならないものです。
そして、これは我々がこの価値観と最後のステップを得たことを覚えているからです。なぜなら、これはこのforループの最後に行われたからです。
そして、私たちは価値を得て、私たちはその価値と同じになるように設定しました。
だから、今は2番目の完全なループの始めに、最後の日付のこの値に等しいでしょう。
しかし、これを行うことによって、私たちが最終的に得られるのは、等しいか0パーセントか、1つのテニスコートまたは2つのプラスが、マイナス1倍のマイナス1倍のパワーとマイナスを、ラウンドのこの値に倍の時間をかけます。
それが理解しておくべき主なことであり、これは累積的報酬の行動になる可能性があります。
それで、初期化するか、ここでやり直してこの最終的な方程式を完璧にするためにこの逆ループを実行することが重要です。
今、累積的な報酬に適切な価値があるようになりました。ここでは、優位性を計算して、ここでの優位性は、それに比べてこの報酬を得ることの利点に過ぎません。
だから私は進化可能な利点を導入しようとしているので、この累積報酬からステージで得られたV関数の値を引いたものと等しくなります。
したがって、それはマイナス値です。
完璧。
そして今私たちが働いているコミュニティがあり、利益を得ることができれば、価値の損失を得ることができます。
これは私たちが今入手できる最初のものです。
だから私たちは価値を上げようとしており、これは次のように更新されます。
今までのところ切り下げられた値はゼロに初期化されていたことを忘れないでください。
そして、我々は価値の損失を再び0にするつもりです。 私たちはそれをこのように得ることができるように利点の正方形の5倍。
アドバンテージも考えました。
だからこそ、パワーの利点を二乗することを意味しています。それは、ちょうどその値に、クリークによる関数出力の値の予測によって生成された損失を加えたものです。
そして、状態sにおけるアクションの利点がQ値とB関数の値との間の差異であることを覚えているからです。
それで、私たちが最適な行動をすると、状態のスター選手が最適な値に等しいという最適な行動のQ最適状態で静止状態になります。
状態のヴィスタール。
したがって、利点がゼロに等しくない場合、これらの2つの間に違いがあることを理解することは非常に直感的です。
したがって、それが最後の測定方法です。
OK。
だから最後の1つが最後に計算されました。
私たちはもう一回行くべきです。
それは政策損失であり、それは一般化された利益見積もりを再検討する必要があるため、私たちは今計算を進め、一般化された利益見積もりを考慮する必要があります。最初にステージバルブの時間差が必要です。
だからここで計算するのには複数のことがあり、一時的な違いを得ると、この時間的な違いから始めます。
我々は一般化された利益の見積もりを得て、我々が言及する一般化された利点を得ると、我々は半島を得るだろう。
大丈夫。
だから、時間差Tから始めましょう。 G.
DDは私たちのプログラムリストに物事を得る段階Iプラスガーナの報酬と等しいので、Bromstadガンマ倍はこの負債の価値に1を加えたものになります。そしてそれにアクセスするためにそのデータにステップIの値を加えて追加しますデータ。
大丈夫。
これは時間的な差と状態値の公式です。
そして今、我々は一般化された優位推定とそれがどのように日付を更新することができます。
さて、私たちはR-GAを取ってガンマ・パラメータのガンマ・タイムを掛けて、我々のパラメータでもアクセスします。
そこで、プログラムセルを取り、この状態値の時間的な差を加えます。
ので注意してください。
我々はループに入っている。
そして、私たちはこれを乗算するたびに、時間的な差を加えます。
ですから、このループの最後では、この一般化された効果の推定はガンマ時間のすべてのステップの和と等しくなりますので、ステップiの時間差のi倍のパワーはそれを維持するために重要です念頭に置いて。
そして今、私たちは一般化された優位推定と一般的な相違を持っているので、最終的にポリシーを計算することができます。
だからこれをやりましょう。
我々は政策方針を次のように更新する予定であり、この段階で得られたLUGG確率を、この一般化された優位推定によって掛け合わせて、変数に入れなければならないので、グラジエント。
グラフのグラデーションにアタッチし、マイナス0を加算する必要があります。 エントロピーの1倍。
秋の段階で得られたエントロピー。
そしてまた。
今、注意してください。
これはインフルエンザの終わりに、あなたが得られるものは、保険料のプラスマイナス、一般化された利益の見積もりへのステップタイムでの保険料の製品ラグジンのステップの一部です。
プラス0。 01回エントロピーが得られるようにします。
そして今、私の政策は何ですか？
これは、アクションのソフトマックス確率とこれのエントロピーで、以前に計算したものが何であるかわかります。
そして私たちが何をするつもりだったのか。
だから我々はすでにそれを持っています。
しかし、今年は、それがアクションのソフトマックス確率だと聞いています。
なぜ私たちはマイナスをここに入れますか？
確率とエントロピーの運は負の値であるからです。
そして、絶対値を最小限にしたいので、この最後を距離とは対照的にLUGG尤度と見なす必要があります。
いいえ、私たちは、利益を最大化する行動の確率を最大化したいと思いません。
それはそれの背後にある全体のアイデアです。
我々は、このエントロピーの目的が効率的であるかどうかを疑問に思うかもしれないあなたとあなたの利益を最大化する行動をする可能性を最大にしたい。
この係数0があります。 01ここに。
まあ、その目的は、確率が1の確率を持つ行動以外のすべての行動に対して0の確率分布を持つトラップにあまりにも速く落ち込むのを防ぐことです。
それが起こると、エントロピーが最小限に抑えられます。
だからこそ、この小さなリビジョン0を追加しています。 01年にはその意味でのエントロピーが大きくなるでしょう。
これで良いニュースは、最も難しい部分が完了したことです。
私たちは2つの損失を抱えているので、今やる必要があるのはすでにわかっています。これを行う方法はすでに分かっています。
そして今私たちがやろうとしていることは、このループから抜け出し、オプティマイザを使うことです。
私たちが別に作ったのは、すべてのグレーディングパラメータをゼロに初期化し、それをゼロに加算してgradメソッドと呼ぶことです。
そうだよ。
今度は逆方向の伝播を行いますが、ポリシーが小さくなっているため、失われた値よりも最後に2倍の重要度をポリシーに与えることになります。
これを行うには、括弧ポリシーとスコアプラスプラス0を入れます。 5値の損失は0です。
私たちに5倍の価値があります。ここでは、バックワード方式を適用してバックワード伝播を適用することをここに追加します。このトリックでは、ポリシーのほうがポリシーのほうが半分で、ポリシーの重要性は2倍ですヴァネッサ。
それでは、グラディエントが極端に大きな値を取ってアルゴリズムを生成しないようにする別のトリックを使用します。
40になる第2の入力を有するモデルパラメータ。
そして、これを行うためのトリックは、トーチライブラリーからトーチライブラリーの最後とモジュール、次にutilsサブモジュールを取得し、次に関数CLEPを使用して、スコアの標準にgradのアンダースコアを適用することです。
そしてそのトリックは基本的にグラデーションが極端に大きな値をとらず、アルゴリズムを生成しないようにします。
この40年かどうか疑問に思うかもしれないあなたのために。
まったく。
これは、これらの値を使用していることを意味しています。そのため、勾配の標準は0〜40のままです。したがって、勾配が大きな値になるのを防ぐ方法です。
今、ほぼ完了です。
秋の初めにエージェントと共有モデルが同じ勾配を共有することを確実にするために、この機能をここに適用できることを確実にするために、これを確実に共有しました。
そして、道徳的モデルと共有モデルが同じ勾配を共有することを確実にするために、gradを追加して確実に共有しようとしています。
それだけで予防措置です。
私はそれが完全に必要であるかどうかはわかりませんが、少なくともここで問題は発生しません。
はい。
そして最終的にコードの最後の行はもちろん、損失を減らすための最適化ステップを実行するつもりです。もちろん、オプティマイザを実行する方法を知っていて、そのステップを括弧で追加してから、私たちの脳のトレーニングに行っています以上。
だからおめでとう。
私はこれがあまりにも圧倒的ではなかったことを願っています。
心配しないでください。すべてのコメントをコードに提供します。
だから、あなたがコメントを見てみることができます詳細を欠場した場合。
これが非常に進んだことを理解していないと心配しないでください。
しかし、これはまた、piの作成者から作られた最も強力な覚えの訪問でもあります。
だから我々は本当にここで最高のものを手掛けている。
あなたが最初にすべてを得ることができなければ、それは完全に正常な状態です。しかし、何度もそれに取り組むことによって、ますます快適になります。
だから今私たちはトレーニングを終えました。
だから、基本的には、畳み込みのある神経回路網と完全につながった層を構築することで、私たちが頭脳を作ったことを知っている最も重要なことをすべて作りました。
私たちはこの列車コードをここに作り、彼の脳を訓練しました。
だから、基本的にアルゴリズムの中心は終わりです。
A3をお祝いにしました。
今はもっとやるべきことがいくつかありますが、それは楽しみの部分を得ることです。
エージェントをテストし、ビデオと飛行機が飛び出すようにするために、このテストを行う必要があることはわかっています。
だから、私たちが最も重要なことを言ったように、私たちが落ちたこのテストのすべての行をコーディングしないことを見て、これは非常に楽しいでしょう。
すべての関連する23Cしかし、私はもちろん、コードを説明し、最終的に私はコードを実行するが見つかりました。
そして、このコードを実行する瞬間から、すべてのコードが生成されます。
だから脳が作られるでしょう。
訓練が行われ、目は壊れた新しいゲームをプレイし、すべてのビデオを取得します。
だから私は最終的にそれらを見るのを待つことができません。
彼がボールをつかまえるのに十分にスマートであるかどうかを見極めるつもりです。
だから私はいくつかの新しいゲームでAIをテストできるように、このデスクトップUIの次のチュートリアルで見ていきます。
それまではAIをお楽しみください。