こんにちは、今日のStatoilのこのチュートリアルを歓迎します。共有モデルと同期するつもりです。
だから私たちがやろうとしていることは、もちろん機能を送り、1つのエピソードの長さを初期化することです。
だから私たちは、エピソードのエピソードの長さとこのコアの長さを呼ぶつもりで、私たちはそれをゼロに初期化しようとしています。
しかし、現在のこの長さは増分になります。
そしてそれが私たちがやることであるという点で増分を言います。
だから、私たちはwhileループを使い、このトリックを使って真のKallenが何が起きるかをこの世界の中で何度も繰り返すように言います。
そして、このループで最初に起こるのは、このエピソードの長さの増加です。
したがって、まず最初に行うことは1ずつ増やして、エピソードの長さをとり、ここに+1を加えて1にするだけです。
そして今、私たちはもっとシェアに同期するつもりです。
つまり、エージェントが共有モデルを使用して、特定のステップ数で少し調査を行い、モデルがこの共有モデルをどのように取得するのかが分かりました。
私たちは共有モデルの状態辞書を取得するためにそれを使用するので、負荷状態のDickのメソッドを使用するので、共有モデルを最初に配置し、次に静的メソッドを共有モデルのパラメータを取得します。
そして、それがここの私たちのモデルが小さなモデルの探検に共有モデルを得る方法です。
モデルがこの共有モデルを取得すると、今度は2つのケースを区別する必要があります。
最初の1つは、ゲームが終了した場合にゲームが終了した場合に何が起こるかを意味している場合です。
LSDとモールの隠れた状態とセルの状態を再初期化する必要があります。
それで、私はセルの状態を見るXと隠された状態をXにして、それらを再初期化しようとしています。どのように再初期化するのですか？
まあゼロだけでは、残りの出力を覚えているので、256のゼロのベクトルがあります。
私が1と256を述べたように。
そこで、ここでは、トーチ・ライブラリーとゼロ関数を使用して初期化する予定です。
そして、256のゼロのベクトルが必要なので、ベクトルの次元と、ゼロの要素の数の次元を聞くつもりです。
しかし、それからいくつかの勾配が計算されるので、それをトーチVoivodeに変換します。
したがって、これをグラデーションと統合する必要があります。
大丈夫。
そして、私たちは隠れた州のために同じことをやってみて、実際に同じように分析します。
そこに行く。
ゲームが終わるとそうです。
そして今、私たちがElse以外でアクセスすることができる他のケースは、そのケースで何が起こるかです。
まあ、古いセル状態と隠れたステークを保つつもりだから、Xの値が変数cxと同じであることをタイプすることで古いものをこのように保つことができるのは非常に簡単です。ここで単純にH
x
equalsデータがある変数xx。
良いことが終わった。
基本的には、ゲームが終わったかどうかにかかわらず、この2つのケースで済んでいるので、私たちは別のものから抜け出すことができますが、今はwhileループにとどまります。これは基本的にはすべてのトレーニングですプロセス。
それで、今私たちがしようとしていることは、トレーニングの計算の中心にあるいくつかの変数を初期化することです。
それでは、これをやってみましょう。私たちは批評家の出力であることを覚えておいてください。
それが関数です。
そして、それらを空の巣として初期化します。
このようにすれば、確率を上げる必要があります。
運が悪いので、それを空のリストとして初期化します。
もちろん、空のリストとして初期化するすべての単語が必要になります。
そして最後に、エントロピーが新しいものになる必要があります。
しかし、これは実際にトレーニング条件の中心にあります。
だからまさにそれまで。
そこで、これらの4つの変数を初期化すると、新しいFORループを開始することができます。そして、このnymphalは、これらの4つの変数の値を更新します。
そして、この新しいFolukeは期限切れステップの完全なフープになるので、ループ変数は我々のステップになるでしょう。
したがって、あるステップのパラメータが正確に加速のステップ数であるため、範囲と内部のステップのために、おそらくノンストップのドットを直接置くことができます。
だから、加速のすべてのステップのために私たちは何をしますか？
さて、我々はモデルの予測を得るつもりです。
モデルによって返されたものと、これらの予測を得るためには、単にモデルを取り込み、それをモデルの脳を通る入力信号に適用することができます。
そしてそれは私達に出力を与えますが、それはあなたが私たちに批評家の出力である関数の値を得ることを知っているいくつかの出力を得るでしょう。
次に、q値QSAは、俳優の出力ですが、フォワード関数のモデルの井戸に戻っても覚えているので、Doheny州や小さな州の転倒も出力することを忘れないでくださいそれは評論家の出力を返します。
これは関数yesの値であり、キューブ値QSAのアクターの出力と、この二重チェックであるCMの出力と、XとStatesとセルの状態を参照してください。
だから我々はそれに注意する必要があります。
これは以前に起こったこととはまったく異なっているので、今はそれらを状態である入力にすべて適用しようとしています。
しかし今、拷問に関連するいくつかのことがあります。
しかし、それはもちろん、私たちがやっていることに力を与えます。
最初に行うべきことは、状態を絞り込んでインデックスが0でなければならないこの次元を追加することです。
これは、モデルでは入力のバッチのみを受け入れることができ、ベクターやインテンサーではそれ自身では終了できないためです。
これが最初にやるべきことですが、それは私たちの入力状態をトーチに変換する必要があるわけではありません。
今は州警察の状態ですが、4つの機能の入力は実際には入力画像であることを忘れないでください。
これは私たちが世話をしたものですが、このタイプの年齢は国家と細胞状態なので、ここで追加する必要があります。
入力の第2部分は、年齢Xと6の魅力を持ちます。
大丈夫。
そして、私たちはかっこを取り上げなければなりません。
ここでは2つの入力があります。最初の入力は入力画像であり、入力画像はすべて変数に向かって変換され、バッチのこの偽の次元を追加するために絞り込まれ、すべての州と南の州を停止します。
だから我々はすべて行かなくてはならない。
我々は予測をする準備が整っている。
そして今、この復帰以来。
私たちの3つの予測は、批評家がCMEによって必要とされた俳優とすべての復職者のトップへのアウトプットを示しています。
3つの出力をリリースする3つの新しい変数を紹介します。
それで最初の出力は、評論家の出力であるV関数の値です。
だから我々はそれをそれと呼ぶつもりです。
だからそこに行く。
これが最初の出力です。
次に、2番目の出力はアクターの出力になります。
それがQ値QSAです。
しかし、q値はアクションに関連付けられているので、アクション値と呼ぶこともできます。
大丈夫。
そして、次の日に返される出力を見つけます。
それは隠された消費税の倍数であり、セル状態はXを参照しています。
だから今私たちは、適切な行動をするためにソフトマックスを使う必要があるという前提を持っています。
そして今、それは以前と同じようになるでしょう。
次のステップは、私たちがMaxから呼び出すことができるように確率を得ることです.FaxでMaxを発射し、入力の確率の分布を生成する関数モジュールからMaxメソッドを取り除いたのは、これからは実際に入れようとしている実際の値、つまりモデルのアクターの出力であるqの値です。
時には私たちは確率を持っていますが、気づいたように、エントロピーで作業するつもりです。そして、エントロピーは製品確率の合計であるので、確率だけでなくLUGG確率も導くでしょう。 これはすべてにマイナス1を乗じたものです。
そして、LUGG soft maxからも同じものが生成されるという私たちの愛を得る必要があります。
したがって、確率の分布を取る代わりに、確率の分布を取ることになります。LUGGを使ってそれを実行します。Optimax関数を使ってキューブに適用し、我々がアクション値と呼ぶ用途をノックします。
さて、今、私たちはprobとロックアップを持っています。
それで、我々はエントロピーとエントロピーを得る準備ができています。
その式は何ですか？
まあ、私が言ったように、私たちは製品に乗って私たちは幸運を取るプロンプトを取る。
それから、私たちはこれを合計して、実際に何度か実際に通りを使用しているものをここに追加できるようにします。
そして私たちが言ったように、これにマイナス1を掛けます。
それは製品の合計のマイナスです。
たくさんの時間。
完璧。
そして今我々はエントロピーのリストで計算されたこのエントロピーを保存するつもりです。
エントロピーの最後の計算があります。
そしてエントロピーリストに格納する必要があります。これを行うには、エントロピーがリストなので、もちろん追加関数を使用します。
だから私たちはエントロピーリストを取得してから開始し、追加関数を使って計算されたエントロピーを追加します。
さあ、今は休憩を取るつもりです。
次のストーリーでこのステップを実行することで、生成された確率分布のランダム描画を実行してアクションを実行します。
行動を演じると、この状態の価値が得られ、最終的には新しい遷移状態の報酬が保存されます。
そして、これは新しい大きな一歩となり、次のハードルでそれを完了します。
それまではI.