こんにちは、人工知能のコースへようこそ。
今日我々は時間的な違いについて話しています。
時間的な違いはQ学習アルゴリズムの心と魂であるため、今は試用することが非常に重要です。
これは実際に、私たちがこれまでに学んだことのすべてが、重要な学習の中でどのように演奏されるのかです。
だから見てみましょう。
決定的な検索と非決定的な検索について話をしたときを覚えておいてください。
そして、このケースでは、エージェントが上がることを望んでいるときに、どうやって上っていくのかを覚えておいてください。
この場合、彼はそこに上りたいと思っています。彼は左のtempsとチャンスを下げて右に行くチャンスが10％あり、80％のチャンスが正しいでしょう。
まっすぐ進む。
これらの数字は当然恣意的であり、異なっていてもよい。
そして、この全体的なコンセプトは、それが異なった異なる問題である可能性があるので、彼がこの環境の中で起こっているエージェントの制御から外れている何らかのランダム性を持っていることを心配する必要はありません。
決定的な例では、Wiiの値を計算するのは非常に簡単であったが、必ずしも非常に簡単ではないということでした。
しかし、私たちの場合、Belman方程式を使って単純に計算することができ、正確な値を得ました。
そして、あなたが覚えているように、私は、非決定論的検索のためのこれらの値が私の頭の上から外れていることに非常に注意深く言及しました。
彼らは私たちが知っているカルカではありません。
私が最後に言ったのは、非常に複雑なので、計算する必要がないということでした。
しかし、コンピュータはそれを行うことができ、ちょうど私が作った価値であるこれらの価値と一緒に行きました。
しかし、彼らは仕事を終わらせました。
彼らは私たちがその概念を理解するのを助けました。
さて、私たちはそれに少し戻って、ここで何が起こっているのかを理解するつもりです。
非決定論的な例でこれらの値を計算するのがなぜより難しくなるのか、一般的にこれらの問題とそれらを通過するエージェントでこれらの問題を話すのは難しいのですか？
それはなぜです。
なぜこれらの値を計算するのが難しいのでしょうか。
あなたがそれについて考えるとき、代理人がここから右に向かって動いたときに、彼はいつもそのように動くとは限らないので、まっすぐ行くのではなく勝つチャンスであるので、南西の北東に西へ行くの一種。
エージェントは時には南に行くかもしれません、そして、例えばここから北の一種です。
彼は時々東に行くかもしれない。
ごめんなさい。
だからここでは東に行くのではなく、時には南に行くかもしれないし、北に行くこともある。
彼は時には東または西に行くことがあり、北に行くのではなく、時には西または東または西に行くことがあります。
したがって、この値を計算するには、この値が何であるかを知る必要がありますが、興味深いのは、この値を計算するには、この値が何であるかを知る必要があるということです。
だからここでは多くの再帰が起こっているので、これらの値が何であるかを定義するだけでは決まりません。
そして、この再帰は決定論的ではありません。
それはときどきこのように起こることもあります。時には時々立ち上がったり、時には左に行くのではなく、時にはうまくいくことができます。
彼が上りたいとき。
彼は上がるだろう。
だから、それは偶然の対象となり、多分何度も代理人がこの道を通って行くと、彼は上に上がるでしょう、そして、あなたはここから、あなたはいつもどんどん上がって、国の価値が行くと思うでしょう突然彼はすべてピットに落ち、この価値は下がります。
したがって、これらの値がすべて相互にリンクされているため、これらの値に対するこの全体の計算に対する確率的ランダム性がどのようにあるかを見ることができます。
それに加えて、意思決定プロセスの痕跡があるので、環境に固有のこの無作為性があります。
だからこそ、これがすべて一緒になるところです。それでは、エージェントがこれらの値を計算できるようになる時間的な違いの概念を導入するところです。
ここでは値を扱っていました。
そしてそれ以来、私たちはすでにQ値に移動していますので、それが私たちが働くことになります。
我々は巨大な価値観を見ていきます。
だから私が思い出すように、これはq値のBelman方程式です。
。
だから、AQの値や、状態sである種のアクションAを実行する価値は、アクションを実行した直後にアクションを実行した後に得られる報酬と同じです。さらに、可能な限り合計したガンマを得ますか？
だからあなたは、あなたが終わることになる国家の期待値を得ることができます。
ベルドン方程式の公式があったことを思い出していただきたいと思います。今は簡単にするために、旧式のやり方で、また隔離材について知る前にベルマン方程式について話をしていた方法で書き直すつもりです。
これは確定的な検索の意味でのBelman方程式だったことに注意してください。ここでは、すべての確率で同じ価値を持たない期待値がないからです。
あなたはちょうどそれがあなたが終わるつもりである状態を終わらせるつもりであると判断したようにそれを持っています。そしてあなたはその一つの状態であなたにマックスを教えます。
それを書いているのは、書いたほうが簡単で、数式と一緒に落ちやすくなるからです。
そこで、このバーのこの部分を置き換えたことを覚えています。
また、多くの文献でこの表記法を見つけることができるので、もしあなたがそれらを勉強しているならば、他の情報源と一緒に従うことがより容易になります。
しかし、実際には私たちが何を意味しているのかを覚えておいてください。この表記法ではなく、確率論的なアプローチは、これを操作して何が起こっているのかを理解するのが簡単です。
私は方程式を見て、あまりにも混乱しないようにするのが好きですが、ここでもこの確率的アプローチが実際には私たちが意味することを覚えておいてください。
そして、我々は実際に何が起こっているかを見ているTom Silisのことを知っています。
だから、迷路の空白の状態を見てみましょう。見たいときや、空白のままにしておきたいときは、状態やセルの1つを見てみましょう。
これは特に。
そして、ここに私たちは上がっていく行動に対する答えを持っています。
私たちはq値を計算します。
だから、私たちはまだq値を持っていないわけではありません。
しかし、私たちは何も描写していません。
単純化のため空白を残しています。
しかし、私たちは時代を歩き回っており、この特定のセルと値から、この状態からノーフに上がるというこの立方体の値を計算しています。
Q SとAと今私たちが持っているもの。
だから、彼は現在、彼の青い矢のポイントとエージェントがこのセルに座っている。
そして今、彼はどこに行くのかを選択する必要があります。
そして、彼はこの行動の価値が北に向かっていることを知っています。そして、それは以前のことです。彼が行動を取る前にここでの価値はqとSNHであり、今では実際に行動をとっています。
それで、彼が最高のものだと決めるとしよう。
彼は行動を取ってセルに移動します。
さて、何が起こったのかは、彼が行動を取った後です。私たちはこの値が何であるかを測定することができます。この値を計算しましょう。その行動を取った報酬の値に、ガンマ倍、プライム。
そして、可能なすべての行動とアスピリンの最大値。
そして、私たちがここに持っているのは、その行動の前の値です。
その後、このメトリックを計算しました。
しかし、前の4か月から思い出すことができますが、私たちが計算した以前の公式から非常に素早く戻っても、それは実際にはQの値です。
a。 aが計算される。
だからこのAriteの部分はちょうど別々に計算されますが、我々が行動を起こした後です。
Sの値とQの値を知る前に、Preussの繰り返しを使って計算した値があります。
その価値は私たちの記憶に蓄えられています。
だから私たちが知っている数のように、そして今行動が実行された後、彼は実際に報酬を得ていることを知っている。
そして、この新しい価値を計算することができます。
したがって本質的には、この価値を再計算しているのですが、新しい情報では新しい情報が得られます。
さらに、私たちが滞在したことが終わり、その新しいデータがその特定のデータにとって可能なことは、その州全体の最大値が何であるかということです。
それで、その状態にあることの価値は何ですか？
基本的にCure
Vanessa-Maeは新しい情報を与えられましたが、今や時間的な違いは、これらの2つの違いのうちの2つのaとsの間にあります。
だからここで最初の要素はあなたのオフテラ値です。
それでEssonのQのようなものが後で計算されます。
あなたの記憶に保存していた以前のquvenzhan？A。
そして、問題はそれらが異なっているということです。
理想的には彼らは同じでなければなりません。
理想的には、これはこれを計算する式であるため、これと同じにする必要があります。
しかし、これは私たちがKalkaの何かではないということです。これは、何度も迷路を通り抜けて経験した経験的な証拠から得たものです。
だから、これはこれまでに思いついたものです。
現在の反復とは関係ありません。
私たちがこれまでずっと以前に思いついたのは、迷路を通っていた以前の反復のうちの1つでした。
これは私たちが今計算したものですが、迷路に存在する乱雑さと同じになるという保証はありません。これは、計算されてCRNのランダムイベントが発生したことを示している可能性があります。起こった様々なランダムなイベントに呼び出すことができます。
そして今、私たちはヒーローを書き留めて、そこに移動します。
それでは、どうやってこれを使うのですか？
問題はOKなので、この時間的な違いがあります。
どうやってこれを使うの？
それはなぜ時相差と呼ばれていますか？
あなたが基本的にSとQのQを計算しているのと同じことを計算しているので、そのアクションのQ値は時間的差と呼ばれます。
ここのCalcottはここで計算しています。
しかし、違いは時間です。
これはSのQであり、これは以前はSとAのQである。
今あなたの新しい治療法は生得的であり、問​​題には違いがあります。
それらの間に時間のずれがありますか？
実際に時間の移行があった場合は、どのようにこれを私たちの利益に利用することができますか？
うーん、私たちができることは、私たちがQのsを知っていてもOKです。 a。 ありません。
この新しい価値は古いものと同じではありませんので、古いものを取り除くか、古いものを忘れてしまいます。これはすべて新しい価値です。
しかしそれは賢明ではないでしょう。
その理由は、私たちの環境では、ランダムな出来事が起こることがあるということです。
そして、私たちの古いQSAなら、どうでしょうか？ a。 aは80％のように一貫して起こるものでした。
そして、そのようなものは、時間の80％が何が起こるかによって表されました。
そして、この新しいものはまさにランダム性のために起こったことです。
その場合、状況の大半を担当するものを捨てるつもりで、10〜20％しか発生しないものに置き換えます。
それは最善のアプローチではないでしょう。それが、Opuの価値を完全に変えたくない理由です。
私たちは少しずつ少しずつ段階的に変更して使いたいと思っています。
それで、私たちはこの一時的な違いを特定の方法で使うつもりですので、ここではSNHの手がかりを取る式があります。
そして、我々はそのような方法でそれを更新するつもりです。
私たちはSenayの治療法の古い価値を取り上げ、5倍の時間差を追加します。
だから、アルファはすべての学習の権利になるだろう。
それが我々が導入している新しいパラメータです。
それはアルゴリズム学習の速さです。
だから基本的にこの違いを取っているし、それが何であれ、これを以前のKJoヘビに加えようとしている。
この式はおそらく意味をなさないでしょう。見た目だけでは意味がありません。ここでCovisintを取得して、ここにAを付けてください。
それはおそらくお互いを否定するはずの同じものですが、私たちは少し違った方法でこれを書き直さなければなりませんでした。
だから私はもう一度あなたを見せてくれるので、これらの式に時間を追加するだけです。
だから、ここではq tから前の年を差し引いたものです。
Q T - 前年を1とする。
Q Tこれはここでは円の中の円でなければなりませんが、ここではアルファの時間的な違いが気になることはありません。
それから、あなたは現在の時間差です。
あなたは私たちが何をしているのかを見ることができます。
さて、私たちの最新のものを取りましょう。
Qは、以前のQに加えて、タイムアルファを見つけたときの時間差と同じになります。
ここの数式は、キューブ学習アルゴリズムの心と魂です。
これは、キューブがどのように更新されるかです。
そして、私たちは既にq値が何であるかをガンマとは何か、そしてこのすべてが何であるかを学んだことは良いことです。
そして今私達が見る必要があるのは、以前のQ値があることです。それは良いことです。
そして、起こりうることは、エージェントが行動を取ったときに行動を取ったときに取り入れると、彼は報酬を得て、彼は状態になるだろうということを知るでしょう。
それに基づいて、彼はAhaを計算することができます。
それでは、私が作ったその動きのQ値はどうだったのでしょうか。
そして今、それが方程式のこの部分です。
古いQ値を差し引くことで時間的な違いが得られ、今ではAlpherの時間差のサンプルを取る必要があります。
Qそれはあなたが意味することです。
私はちょうどあなたが行くと、今これを終了すると思う。
これは、何が起こっているのかを理解するのには十分ですが、物事をさらにはっきりさせたり、物事をさらに混乱させたりするようなものです。
この一時的な違いやこの単純な違い、あるいはここでこのフォーマットにプラグインする方法を取るためには、何をする必要がありますか？
だから私たちはこの部分をすべて取り、この式に差し込み、巨大な方程式に終わるでしょう。
だからここに行く。
私たちの方程式があります。
だから、これは時間的な差異が完全に書き出された完全な方程式です。
そして、私がそれを書いた理由は、あなたがそれを勉強すれば、おそらく他の文献でもこれを見つけるでしょう。
もう1つは、数式の方が少し複雑になることもあるし、何かをもっと明瞭にすることです。
たとえば、アルファの役割を見ることができます。
これを見れば分かります。
ここに。
Q Tから1を引いてここに行く。
Q Tはマイナス符号の1を引いたものである。
だからここに1を入れればアルファは1に等しいとすると、これはこれを否定するでしょう。
だから彼らはお互いを破壊し、あなたが残すことのあるものはこの部分です。
そしてそれが意味することは、まさにそういう状況だと言っています。あなたは新しい価値を持っているはずです。
私たちのQ値を新しい価値に更新して、以前のものを忘れてしまいましょう。
私たちが議論したように、ここではランダムなイベントが存在するため、最良のアプローチではなく、段階的に物事を更新したいと考えています。
あなたがAlpherをゼロに等しいと言ったのであれば、あなたはこの部分全体を完全に忘れていて、あなたはかわいいですか、新しいものか、現在のものが常に前のものと等しくなるでしょう。何も学んでいないだろう。
それは、迷路で何が起こっているのかは、あなたが長年前のKuchiの価値を決めたので重要ではないことを意味し、あなたはただそれを保つつもりです。
だからこそアルファは0であってはならないし、そうでなければならない理由もあるはずだ。
そして、それはあなたがゆっくりと学ぶことを可能にするつもりです。迷路を通り抜けるときにあなたやエージェントとして時間を取ることを許すつもりです。
そして、ゆっくりではありますが、確実にこの値は更新され、更新されます。最終的には、ある時点でアルゴリズムが収束することが期待されます。
0 0にちょうどよく近づくことであり、その意味は毎回新しいcutesie値または新しい計算された値。
それが意味するのは、この時間的差異がゼロに近づくようになり、最終的にはゼロまたは0
それは何だったはずですか？
そうではありませんが、これを仮定するのに十分であるはずのものは、以前のQ2の値と同じになります。
そして、ゼロとなることは、あなたの温度差がゼロの時にあなたのアルゴリズムが収束したことを意味し、何が起こっているのかを継続して更新する必要はありません。
キューブ値の更新を続行するには、この検索を実行します。
ここで注意しなければならないことは、環境全体が絶えず変化している場合に、キューの値の更新を知っているだけで、この全体を引き続き実行したいと思う唯一の唯一の時間だと思います。
それだけではない場合は、それにはKosticのイベントにいくつかの不本意があります。
しかし、モーフィングが時間とともに変化しているように、環境自体は変更されています。
最適なポリシーは常に環境によって変化するため、すべてを学び、最適なポリシーを考え出すことは不可能であるため、学習する必要があります。
その場合、CALKINと時間差を継続してQ値を計算する必要があります。
しかしそれ以外のことは余分な合併症のようなものです。
それ以外のQ値の更新方法はこれがQ学習アルゴリズムの主要な式です。これは拡張バージョンのようなものですが、今はすべて一緒に来て、Belman方程式を持つ理由エージェントが価値観をどのように更新し、その環境で何が起こっているのかを正確に把握するために、エージェントが最適なポリシーを思い付くようにする方法についても説明します。
だから私はかなり多くのことを知っているが、このチュートリアルを楽しんでいたらうまくいけばうまくいけば、あなたの価値の背後にある基本的な概念と直感を取り除くことができれば、そして時差の概念全体が何であるか、エージェントが動作している環境を理解できるようにします。
そして、あなたが時間的な違いについてもう少し学びたいのであれば、非常に人気のある論文は1980年のリチャード・サットンによる時間的な違いの方法によって予測することを学んでいます。
私たちはすでにリチャード・サットンの言葉を持っていますが、これは別のものであり、実際には本を持っています。もしあなたが彼の文章スタイルと彼のコミュニケーションスタイルを知っているなら、彼の本もチェックしてください。
これは、これらのすべてのもののより拡張されたバージョンのようなものです。
私は本を​​読んでいないが、それは私が同時に想像していることだ。
これは紙に追加される予定で、そこでは時間的な違いについてもう少し詳しく知ることができます。
そして、あなたもそれを楽しんでください。
次回にお会いしましょう。
それまではAIをお楽しみください。