こんにちは、人工知能のコースへようこそ。
今日のチュートリアルでは、資格トレースまたはステップという非常に複雑なチュートリアルを説明します。
Qの学習とこれは私が物事の実践的な側面で実装しようとしているものなので、私たちはそこから出なければならないのですが、それはかなり複雑なトピックなので、スピードを上げるための非常に興味深いアプローチがあります背後の直感
だから私はそれを単純に見て、それがどのようになっているのかを見るのに使われているのとは違った考え方を思いついたのです。
だから私はあなたに例を挙げたいと思います。
このチュートリアルでは例を挙げて、資格の力を実証します。
私たちに物事の背後にある直感を与えてください。
そして、あなたが資格の特質を更に深く掘り下げたいなら、私はあなたにそれについて読むことができる最良の場所を与えます。
私はあなたに本を参照させていただきます。
直感に掘り下げるよりも、最初にそれがあるので、これは異なってくるでしょうが、私たちが話をした後で、例を見るつもりです。直観は明らかになります。
それが私の希望です。
だから見てみましょう。
私たちがこれを行うことができるかどうかを見てみましょう。
ここでは2つのエージェントがあり、同じ環境を移動しています。これらの2つのエージェントがどのように動作するかを見ていきます。
最初のものは、適格性の痕跡と一緒に作業する予定です。
第2のものは、不明確な痕跡を残して作業するつもりであり、うまくいけば、なぜ第2のものが最初のものよりずっと強力なものになるのかが分かるでしょう。
だから見てみましょう。
まず、このエージェントを見ていきます。
そして、彼が運営している方法は、これまでのところ深い循環のことについて議論した正確な方法です。
したがってエージェントはステップを踏み出すか、または新しい状態にアクションを移すことになります。
特定の報酬を得ることは、このエージェントを実行しているニューラルネットワークを更新するか、このエージェントの心の中で動いているニューラルネットワークを更新するアルゴリズムを介して、またはそのアルゴリズムを介して行われます。
それは基本的に、その瞬間から学ぶことが新しいステップを踏み出すことです。
だから、この新しい状態から、ニューラルネットワークがそれがすることが報われていることに基づいて新しい行動を起こすことは、報酬が更新されるようになることであり、それを続けようとしています。
明らかにこれはかなり良い仕事をしてくれるでしょう。以前の実用的なSquire
to DROsから見たように、ここでかなり良い結果を得るつもりですが、今度は新しい機能を追加します。
今、このエージェントは、2人の男をここに連れて、彼は同じ環境をナビゲートしようとしています。
彼は木の読みやすさをどう使いますか？
そして、これが意味することです。
彼が何をするつもりは、彼はこの場合に取るつもりのステップを取るつもりです5つの鉗子は、4つのステップを取るつもりであり、その後、これらの手順を取った後、彼はそれらの手順から得た総報酬を計算し、彼のネットワークを通してください。
彼は意思決定プロセスを支配するニューラルネットワークを介してそれを配置し、それからニューラルネットワークはそのことから学ぶでしょう。
だからどちらか。
すぐにどちらがより強力だと思いますか？
盲目や暗闇の中で一度に一歩一歩踏み出すような男、そして、まあまあのようなものだから、何が起こるかを一歩踏み出すつもりです。
何が起こるか見てみましょう。
ステップを実行します。
何が起こるのですか。
最上級の男、またはMarshaが4ステップで連続していて、それが良いステップかどうか、そしてなぜここに見ることができるのか、なぜなぜあなたはおそらく第二の男は実際には終わりのことを知っているので、第二の男はより良いまたはより強力です。
最初の男は、彼がこのステップが良いかどうかを評価しているときに、彼が得ている報酬だけを見ています。
そして、彼は環境が与える報酬だけによって案内されます。
ここで同じことは、この環境が彼にここで与えている報酬だけによって導かれます。
だから毎回それは彼が報酬を持っているコンパスの彼の唯一の種類の報酬報酬。
ここで彼は実際に彼が評価することができるステップを取った後に評価することができます。
OK、私はフィニッシュラインに行きました。
したがって、このステップの組み合わせは良好でした。
それらのすべては良かった。
または、ああ、私は火の手や大野に閉じ込められた。
私がしたとき、私の車がフィニッシュラインに到達しなかったとき、または私が砂の壁を越えたとき、または私は運命や何かのゲームを失った。
そして、彼はこのステップ全体の組み合わせが悪いと判断します。
したがって、以前のこれらのステップでは、彼はより多くの情報を持っています。
彼は非常に直感的なアプローチのようなより多くの洞察力を持っています。
繰り返しますが、これは私たちがここに描いているよりはるかに複雑な話題です。
しかし、例えば直感的なやり方では、このステップを実行すると、このステップは情報を取得するだけで、ここでこの報酬から情報が戻ってくるだけです。
この場合、このステップでは同じ正確なステップを実行します。
それはより多くの情報を持っています。
OK、4ステップまたは5ステップなどの結果が何だったのか。
はい、それはそれがどのように機能するのか、適格性の痕跡と呼ばれる理由です。このプロセスの間、彼は何が起こっているのか、そして累積損失のコンピュータ報酬を見ているだけでなく、すべて適切です。
しかし、実際には、障害の信頼と呼ばれるものとして、適格性の痕跡があります。
OKと言うアルゴリズムで保持されているトレースがあります。もし罰を受けるとすれば、負の報酬が得られます。そして、この措置のどれがその処罰の対象となる可能性が最も高いのですか？
そういう全体的なパターンや学校の組み合わせが何であるかを知るだけでなく、誰もが手に入れれば更新するステップの適性の痕跡を残しています。
したがって、例えば負の報酬として、これが最終的に得られたものに対して最も責任を負うステップであることを私たちに示す適格性の痕跡がある場合、またはそれが再び肯定的な報酬である場合、この適格性アルゴリズムはまた、私たちが得る報酬に基づいて更新される資格があるものである必要があるステップやアクションが何であるかを把握するのに役立ちます。
そして、それが資格追跡と呼ばれる理由です。
そしてそれは資格の背後にある基本的な直感であり、うまくいけば、これらのエージェントのこれらの2つの例は、これらの能力が非常に強力である間に、かなり明白であるか、または直感的です。
そして、あなたが話題の適格性の痕跡や学習のステップをさらに深く掘り下げたいと約束した場合、あなたが見つけることができる素敵な素晴らしい本を強​​化学習といいます。
紹介はRichard Sutton Andrew Barto 1998です。
私は、彼らが第二版を作る過程にあると思います。
しかし、これは最も一般的な、最も一般的な、または最も参考になっている執行学習の本です。それには数多くの引用があります。
私は間違っていないと思うと何万人もいると思う。
また、これに必要な章も第7章です。
適格性の選択肢を見るために第7章についての章があります。
あなたはそれについて読むことができ、それは多くの細部に入ります。
フォワード・バックワードの適格性の痕跡と、一方では時間的な違いがあり、もう一方ではモンテカルロの方法では、痕跡が残っているとか、時間的な違いからモンテカルロ法へのリンクがあります。
非常に興味深い写真をたくさん読んで、私は本当にとても直感的な説明に感謝しています。
だから、人工知能と強化学習についてこの本から学べることがたくさんありますが、具体的には適格性痕跡は適格性痕跡のためのこの本です。
今日の第2の参考資料は、深い学習の実践的な試みや、深い強化学習のための同期的な方法に関するGoogleの深い心の研究論文をお見せするものです。
はい、これは、A-3が私たちがスコアでさらに議論するつもりの紙を見ている1枚の紙です。
近づいてきています。
そして、われわれはこれについてかなり興奮していると言うことができるので、この文書では適格性の痕跡をどのように実装したのかを少し見ていきますので、実用的な面でこれを使用します。
あなたが今日のチュートリアルを楽しんでいて、適格性の痕跡がもう少し快適で、次回にお会いするのを待つことができないことを願っています。
それまで楽しむまで。