こんにちは、このPythonチュートリアルへようこそ。
それでは、これを右から左に行くループにしましょう。これを行うには、4つを追加します。
これは、一連の遷移の最後のステップから最初のステップに進むことになるので、これは繰り返しVARが私たちのステップになることです。
そして、右から左に行くトリックは、逆のステップを逆にするために使うことです。
それでは、シーケンスを入力するだけで、このシーケンスは当然のことながらシリーズになります。
だから私たちのシリーズを置くことができますが、あなたが論文で見ることができるように、私たちはT minus 1から始めます。
だから、私たちは最終段階である最後のステップからマイナス1へのステップ前にステップを進めるのではなく、それが最初のステップです。
それでは、ここから先へ進むには、括弧の列からマイナス1を追加する必要がある前に、そのステップを踏みましょう。
もっと深いコースで学ぶ機械に従ったあなたのために、このトリックを知っていることを知っていると確信しています。Kollinが1つ減ったということは、最後の要素の前に要素を上っていますが、最後の要素までは上がらないということです。私たちが望む順序。
これは、最後の要素の前の要素から最初の要素に進む予定であり、右から左に進むために逆の処理を行うことです。
さあ、私たちはforループに入る準備ができました。
そして、この内部ループのために、私たちは何をするつもりです。
私たちはどこで紙と同じようにするつもりです。
ガーナで累積報酬を掛け、フォローアップのステップにある現在のステップで獲得した単語を追加して、累積報酬を更新します。
さて、これをPythonに戻しましょう。
そして、私たちは累計を更新したいので、最初にガンマを掛けて次のように働きます。
そこに行く。
ここでガンマを掛けて、このように特別な構造でアクセスできる報酬を加えたいと考えています。
単語はオブジェクトの属性であることを忘れないでください。
それでもちろんここにプラスを追加します。
さて、それは累積的な報酬です。
私たちはこのステップを必要としますか？
私たちは現在、ループ+ガハナ時代に前回の累積報酬がそれになるまでです。
完璧。
だから今私たちは良いと思う。
アルゴリズムを徹底的に追っています。
それでは、次のステップに進んでください。
さて、それはかなり簡単になるだろう。
このforループは、このように更新することによって、右から左への累積報酬を計算することであるため、最初のフォローアップに戻ります。
アルゴリズムに従って、これを行うという目標を覚えているときは、入力の準備とターゲットの準備ができているので、2つのトレーニングの差の2乗を最小限に抑えることができます。
そして、今、私たちがしなければならないのは、これらの入力とトイレの準備ができていることだけです。
それではまず最初に行うことは、私たちのパーツリストにシリーズの最初の日付を追加することです。
これまでのところ、この状態は私たちの目標の一部です。
それは単に出力を計算することでした。
だから私たちは、最初のステップのこの入力状態を別々に取得するつもりです。なぜなら、それが私たちのリストで起こる必要があるからです。
だからこれを別々に手に入れましょう。
したがって、我々はそれを状態と呼ぶつもりです。
そして、まったく同じように、ここでは、最初の遷移を含む系列の最初のインデックスを取り、その状態を追加してこの最初の遷移の状態を取得することで、このようにしています。
それは、移行のこの入力段階に関連するターゲットを個別に取得するつもりであることを示すサイトです。
そして、ここで興味深い新しい変数は、最初のステップの値と同じになります。
そして、ニューラルネットワークとその内容と出力によってQ値が返され、出力は最初のトランジションを含むこの入力に関連する出力であるため、ここで出力して最初の日付のq値を得ることができます。インデックスをゼロにします。
そして、最初の遷移の入力状態のQ値を取得するデータを追加します。それはまさに時間です。
Qこのようにして、この目標変数を更新しますが、シリーズの最初のステップで選択されたアクションについてのみ、シリーズの最初のステップにアクセスします。
これはシリーズ3 0の最初のステップなので、最初のシリーズ0を取る必要があります。
そして、シリーズの最初のステップに対応するアクションにアクセスするには、ここでアクションをもう一度追加する必要があります。これは、この属性構造を使用していることを知っています。アクションを知ることは、シリーズの最初のステップの属性です。
それはシリーズの最初の移行です。なぜなら、シリーズの各トランジションは以下の構造ステートアクションワードを持ち、ここでアクションが実行されるからです。ここでこのアトリビュートアクションは、この最初のデートのアクションを取得していることを意味します。
最初のステップの具体的な行動の目標は、まさに世界のコミュニティによって更新される必要があるものです。
基本的にここでは、再生されたアクションに関連付けられたターゲットを書き込むだけです。
シリーズの最初のステップは、ちょうど計算したこの累積報酬です。
すべての権利、そして今、私たちは最後にこの最初の滞在を追加することで、私たちの意見を更新する準備が整いました。そして、これは最初の1時間です。
AIの10ステップを訓練することがわかっているので、シリーズの最初のステップを更新するだけでよいので、入力は10ステップの最初のステップです。
また、この最初のステップで目標を達成しますが、基本的に学習が10ステップ後に行われるため、10ステップの次のステップで入力やトイレを取得しません。
なぜ今はシリーズの最初のステップの状態と目標だけを得ているのですか？
そのことを理解することが重要であり、したがって、今我々は、我々が入力のリストと目標のリストにそれらを入力しなければならないことを理解している。
だからこれをやりましょう。
最初に状態を入力に追加しましょう。
そこで、入力リストを取得し、追加機能を使用してシリーズの最初のステップの入力状態を記憶している状態を追加してから、最初のステップでターゲットをターゲットのリストに追加し、これを実行しますターゲットのリストを取得し、この最初のターゲットを追加するためにappend関数を使用するとします。
そこに行く。
ほぼ完了しました。そして今私たちは、このチュートリアルの始めに述べたように、今更新された入力とターゲットについて最後に必要なものを返す必要があります。
だから毎回ここに追加するつもりです。最初に入力を取得するつもりですが、最初に入力を数値配列に変換してから、型の変換を行って型が1つの型になっていることを確認してくださいあなたは同じで、それは同じ32を浮かべます。
そして、私たちはトーチのテンソルに変換します。もちろん、私たちは完全に強制的なトーチで作業しているからです。
そして、私はタイ以外の機能からトーチを再び使用しています。
それが私たちのインプットです。
完璧。
それではターゲットについても同じことをしましょう。
今、このトリックを使うことができます。
ターゲットを積み重ねようとしています。これを行うには、最初にトーチ・ライブラリーを取る必要があります。トーチによってスタック機能を使用してターゲットをスタックするためです。
大丈夫。
したがって、このコード行は、基本的に、この適格性トレースSarsourアルゴリズムによって更新された入力とトイレを返します。
あるいは、私たちはそれを呼び出して、踏み込んでお祝いを送ることができます。
基本的にトレーニングは入力の予測とトイレの予測の間の二乗の差を最小限にすることから成り立っているため、最終的な訓練を行う準備ができました。
だから私たちの目を賢くしましょう。
それはスマートになり、次はスマートになります。
そして、それまではAIをお楽しみください。