こんにちは、Statoilへようこそ。
これでエントロピーが計算され、エントロピーリストに追加されました。
そして今、私たちがやろうとしているのは、次の確率の分布に従って、アクションをランダムに落とすことです。
だからこれをやりましょう。
それが次のステップです。
私たちはまだここのステップを実行しているので、私たちはまだループしています。
そして、あなたは今、その行動を演じる方法を知っています。
最初にactionと呼ばれるアクションの変数を導入し、次に確率の分布を取って、この確率分布からランダムな描画を取るためにmulti
no
neural関数を使用し、次にそのデータを追加します。
したがって、アクションは実際には1つの値を持つテンソルであることに注意することが重要ですが、これを単純な値として見てはいけません。
あなたは、これをアクションのためのこの値を含むテンソルの罪悪感として一つずつ見るべきです。
それは、同じforループでまだ絞り出されていないためです。
今再生されたアクションに関連付けられたログの確率を取得します。
それで私がここで計算した前回の運を前のものにして、次に私が1を入力する別の方法とちょうどこのアクションに関連付けられている運の確率を取得したいからです。
そしてここで2番目の議論では、私は自分の行動をとるつもりですが、集められた関数によって必要とされるようなひどい拷問でなければならず、集められた関数は単にテンソル整数でインデックス付けされます。
さて、私たちは表示されたアクションに関連付けられた外観を得ました。
そして今、次のステップは、私たちが得たものをここに追加することです。
だから我々は価値を得た。
それがモデルの出力としてここにあります。
それから私たちはロックの問題も持っていました。
そこで、ロックの小道具リストにロックを追加します。
我々はすでにエントロピーにエントロピーを付加して、エントロピーはそれほど良くなく、報酬は後でそれを得るでしょう。
そこで、値リストと法律プロセスの見直しを行います。
これをやろう。
我々は、私たちが値引き関数を使用して追加した値リストを取り、完璧なモデルによって返された値を追加します。ロックprobsと同じです。新しい小道具を取得したので、ロック小道具リストに追加します。
そして、この付加関数では、おそらくそれはちょうどここで計算されました。
さて、私たちのリストは更新されました。
ここで実際には確率分布からランダムに引き分けることでアクションを選択したので、ここではアクションを実行します。
しかし、実際にはまだ演奏していないので、新しい状態に到達して新しい移行を取得して再生できるように、今再生しようとしています。
私たちは私たちの環境で行動を起こすので、私たちは環境を取るつもりです。それからステップメソッドを使用します。
そして内部では、それを再生するために選択されたアクションを指定し、これを実行するために、私たちはアクションを取っています。
しかし、これは実際に新しい状態と新しい報酬を返します。新しい状態に達すると新しい報酬が得られ、ダンがゲームが完了したかどうかを知る新しい価値が得られるからです。
さて、これで我々は新しい状態に達する行動を演じ、報酬を得て、ゲームが終わったかどうかを知る。
そしてゲームで終わると話す。
ここでは、エージェントがある状態でスタックされていないことを確認するためにここに何かを追加します。
それを行うために、我々は次のように非常にうまくいっていることを更新するつもりです。
ゲームのエピソードがあまりにも多くの時間を費やすべきではないという条件を付け加えて、主な機能の中で最大の長さのパラメータが同じになることを見てみましょう〜10000。
そして、私たちはエピソードが10000台以上続くことを望んでいません。
そこで、私たちはエピソードの長さを聞くつもりです。これは、エピソードの長さです。私たちは実際にこれを長さで言いませんでしたが、最大のエピソードLexより大きな条件を書くつもりです。
Paramjitではなく、Ramstadでのエンディングのパラメータからそれを得ています。
最大は長さです。
つまり、ゲームが終了した場合、またはエピソードの長さが10000になるエピソードセットの最大長よりも大きい場合。
さて、ゲームが完了し、私たちは新しいゲームを開始します。
これは単なる予防策です。
予防措置について言えば、報酬をマイナス1とプラス1の間でクランプするための予防措置を追加するつもりです。
私たちはすでにここにいましたが、報酬がマイナス1とプラス1の間にあることを確認したいと思います。
そして、これを行うには、報酬を更新する必要があります。
そして、ここでは報酬の最小値と1と-1の最大値をとり、報酬がマイナス1とプラス1の間にあることを確認します。
大丈夫。
もう一つのパーカッション。
そして、ゲームが終了したかどうかを確認するだけで、その場合は再起動します。
そして、なぜ新しい状態に達したのかということは、なぜ今であることを確認する必要があるのでしょうか。
私たちはちょうど新しい移行を通過しました。
だから私たちはこの新しい移行に合格した後でそれを確認する必要があります。
ゲームが終了していない場合は、もう一度やり直してください。その場合は、エピソードの長さをゼロに設定して環境を再起動します。
また、状態を再初期化するために状態を再初期化し、リセット機能を使用してOKを使用します。
今私達はちょうど点検であるこの状態から出ます。
そして今、私たちは、この新しい状態が今のところ新しい状態になってから、新しい状態になったので、Rayによって、状態が元々配列によって命名された入力イメージであることを覚えています。
そして今、私たちがしなければならないことは、新しい国家を拷問された答えに変えることです。
そこで我々は状態を更新し、トーチライブラリーを使用する予定です。
もちろん、タイ以外の機能から、この非支払人に入力画像をトーチセンサーに変換することができます。
完璧。
そして今、私たちがこのループから抜け出す前に最後にやるべきことは、ステップのループです。もちろん、ウォッチリストに報酬を費やすことです。
それは報酬を除いてここですべてのリストを更新した更新が必要な最後のものです。
私たちは今、私たちの報酬を受け取り、あなたの脳機能を使って、完璧に受け取った最後の言葉を追加します。
そして、私たちがforループから抜ける直前に、最後のチェックをするだけで、それが終わったら期限切れを止めたいのです。
そして、ここでは単に休憩を追加します。
つまり、探索が終わったら、共有モデルの更新となる次のステップに進みます。これでエージェントは探索を完了しました。
共有モデルが更新され、次のチュートリアルでそれを処理します。