こんにちは、Statoilへようこそ。
だから今エージェントは探索を終え、次に彼がしようとしているのは共有ネットワークを更新することです。
だから最初にやるべきことは、累積的なものを初期化して、それを首都Rと呼ぶことにして、それをトーチテンソルとして初期化しますが、それは単なる値なのでサイズを1つずつ持ちますが、テンソルになる。
そして私はここでゼロを使用していますが、その後は1を使います。
基本的に累積報酬は0に初期化されます。
それでは、ゲームが終わっていないかどうか、私たちがやっていないかどうかを言ってください。
私たちが現在望んでいるのは、累積的報酬が共有ネットワークによって達成された最後の取引の価値と等しいことです。
だから我々は価値の出力を得るつもりです。
モデルの関数出力の価値を知っています。これは、私たちが働くコミュニティに与える価値です。
それでは、まずこのような価値を得ましょう。
それで、あなたが知っているのは、ここで追加できる値がアンダースコアとアンダースコアだけで、その後はこの値を出力するので、私たちはモデルを得るからです。道徳的なものの最初の出力は、私たちはここにあるものを貼り付けることができます。
それは、入力画像と州と南部の州を引っ張ったモデルの入力です。
だから私はそれを貼りつけるだけで、そこに行く。
私たちは価値を得るでしょう。
そして今、私たちがしようとしていることは、すべてが価値に等しいことと、そこでの当初の価値にアクセスするために、私たちの価値に与えることです。
大丈夫。
これで、if条件が完了し、今、新しい値を取得したばかりなので、モデルの出力を値リストに既に追加しているモデルの出力を得ることができます。
したがって、私たちは直接値リストをテントに向かって取ることができ、私たちは変数を置くことができます。
この最後の値はとても素晴らしいので、今行われています。
私たちは損失を初期化し、直感的な講義を覚えています。
あなたには2つの損失があります。
エージェントの予測に最後に関連するポリシーの最後があります。
そして、あなたは、評論家の予測には関係のない最後の価値があります。
そこで、これら2つの変数をゼロに初期化し、ここでは恐ろしい政策損失の方針をとるつもりです。
それを0に初期化してから、値を大量に失い、ゼロに初期化してから、トーチ変数として累積報酬を設定することを忘れないようにしましょう。これは、Torch
Roybalである必要があるためです。累積的な報酬は価値の損失の項になるため、それに関連しています。
これは実行可能なので、グラデーション付きのダイナミックグラフにアタッチされます。
そして最後に、予測と目標の間の最後を減らすために太陽の下で劣化するガスに適用したときに知っている大きなトレンドループを開始する前に最後に行う必要があります。
GAAPを一般化された優位性の推定に初期化し、それを得ることも塗らないことも必要です。
そのGAAPでは、現在初期化しようとしている変数は、一般化された利益の見積もりであることに注意してください。
したがって、一般化された優勢推定を思い出させることは、定義によって、状態sを観察することによってアクションaを行うことの利点である。
したがって、それは動作と状態sの関数であり、q値Q A
SとV関数の値との間の差に等しい。
だから私は実際にここに書き込むことができます。
一般化された優劣推定は、アクションおよび状態sの関数であり、アクションAのq値および状態Sから状態sに適用されたV関数の値を引いた値に等しい。
それは言及すべき一般化された利点であり、それは今私たちが初期化したいものです。
そして、ゼロに初期化します。
しかし、私たちがちょうどここでやったことと同じトリックを使うダンサーに向かっていなければなりません。私たちはトーチ・ライブラリーをとり、それをゼブラの機能に適用してゼロの1つの値のテンソルとして設定します。
そして、この新しい変数gを使うつもりです。それは、私たちが初期化するように、1をゼロにするそのトーチに等しいでしょう。
したがって、これはゼロに初期化され、したがって、状態sの状態値のV値の値と等しい動作のq値が初期化されます。
大丈夫。
これでforループを開始する準備ができました。
だから私たちはここで冒険をするつもりです。
だから良い休憩を取って、私はそれを攻撃するために次のチュートリアルでお会いしましょう。
そして、それでI.