こんにちは、人工知能のコースへようこそ。
これまでは、Margroveの決定プロセスに関する非常に徹底的かつ長いチュートリアルがあり、うまくいけばうまくいきました。
そして、うまくいけば、私は物事を親切で魅力的な方法で説明することができました。
今日は、政策と計画について話し合うつもりです。
迅速かつ楽しいチュートリアルがあります。なぜなら、迷路を乗り越えていないだけでなく、ヒットしたばかりのランダムな要因を考慮して、確率的検索非決定論的検索の世界に入っている新しい世界に入っているからです。あなたはこの迷路を通過しているときに頭の中にいて、あなたはそれのために準備する必要があります。
それが世界です。
代理店が住んでいてもっと楽しいですが、それはもっと危険です。それはあまり予測できません。
では、エージェントはどのように行動するのでしょうか。
みてみましょう。
意思決定プロセスの枠組みがありますが、これは再びBelman方程式に有利です。
しかし、私たちが取り組んでいるBelmanの方程式のより高度なバージョンです。
だから今から、これをベルドン方程式と呼ぶことにします。
ここでは、最大とCrucellのアクションを得ているので、ある状態の値は、その状態でエージェントが実行できるすべてのアクションで最大となります。
そして、エージェントがアクションAを実行することによって得られる報酬から得られた格付けは、それが入る新しい状態の期待値を乗じたディスカウント・ファクターとプラスになります。
そして、私はここで取られたものを期待しています。なぜなら、彼らは最終的に詰まったものが何であるか正確には分からないからです。
これらは環境に存在し、状態を変更する可能性のあるランダム効果であり、所望の状態に終わらない可能性があります。
それは別の状態になる可能性があります。
だからここでどこかで期待値を取っているのです。
ですから、これを私たちの例として、あるいは迷路の例として見てみましょう。
これはこれまで私たちがこれまで持っていたことであり、以前はライブ決定論的検索を扱っています。
だから我々はそれを知っていた。
そうだよ、もし私がここにいるなら、私がここにいるなら絶対にここに行く必要がある。
ここに行く必要があるのは間違いなくここにいる必要があります。
それで、それはかなり簡単でした。
いったんあなたはこのマップを持っていて、私たちはそれをプランと呼んだことを覚えています。
いったん計画を立てたら、それはかなり簡単です。
がある。
それは矢印付きの計画です。
そして、ここからは非常に簡単でした。これは、青い線で始まるときには、彼らが取るルートです。
それはまさにあなたが行く方法です。
しかし、今私たちはもう計画がありません。
あなたが計画していないことが起こっていないかも知れないことを知っているので、私たちは計画を立てることができません。
あなたはステップを知っています。
だから、あなたはあなたの目標を持っている出発点を持っていると、すべての一歩を知っているので、あなたは私がこれをやろうとしているようにそれらを計画することができます私はこれを行うでしょう私は計画のように人生のように。
しかし、それと同時に、現在は無作為が続いています。
計画を立てることができます。なぜなら、ここに着いてから右にクリックして実際にあなたを落としてしまうからです。
それはあなたの計画の一部ではありません。
だから、それはもっとプランニングと呼ばれています。
ここでは、実際にはこの同じ問題の計算された値を見ようとしている値を計算します。
しかし、それに基づいて私たちは内部にこのランダム性を持っています。
したがって、これらは新しい価値です。
そして、なぜこれらの値が異なっているのですか？それでは、これまでのものと比べてみましょう。
これは私たちが以前に持っていたものです。
これらはあなたです。
だから3度勝ったので、もう一度私たちは以前持っていた。 9パーセント。
彼は本当に366だった。
そして、これは私たちが今では1回未満の力と1 6 3を持っています。
ところで、これは私の頭の上からの現行の集まりではありませんが、代理店を経営するならば、それに似た何らかの価値があり、価値が変わる可能性があります。
それにも関わらず、これは我々が今扱っている値であり、彼らは概観を正しい方法で伝えるので、それらを見てみよう。
なぜ彼らは変わったのですか？
まあ、なぜこのここでは値は1だったのですか？
なぜそれはすべて突然0ですか？ 26それはなぜよりも小さいのですか？
ここからここに行け。
実際に電話したのは、ここから右に行くと意図しているから、右に行くと10％の確率でここに行きます。
だから私たちは壁に衝突し、この状態に戻ります。
そして、私たちはGamlaを持っていることを覚えておいてください。値は割り引かれます。あるいは、私たちは10時にオフになり、チャンスはここでこの状態になります。
だから、私がここに入る確率は100％ではありません。だから、価値観はもはや何かよりも少なく、それは0ではありません。
26。
だからこそ、それがこのような理由の例です。
Belman方程式を完全に計算したのであれば、正確に値を得ることができました。
唯一の問題は、あなたがこれの価値を知る必要があり、次にこれが非常に複雑であることを知る必要があるため、ここで手動で計算を行っていないため、再帰があることです。
だからこそ、私はそれを行うことができます。それはすべてのことを通ります。それは、それがあまりにも複雑すぎるようなものです。
あなたはこれらのことをすることはできません。
それが私たちの価値です。
しかし、これは別のものです。
ここでは0にするだけです。
9割引の理由だけでここからここにまたここにここでここにここでここにここにジャンプすることを忘れないでください。
この20％のチャンスは、私たちが壁に当たっているので、まだ正方形にとどまるでしょう。
もう一度やり直してください。
だからここにいることの価値はゼロ点七十です。
これもやはり割引率です。
あなたは、これがファクタの値引きでさえこれが高すぎるということは、これがあなたにとって奇妙に見えるかもしれないことを知っています。
おそらく、この例の割引率は0ではないでしょう。 9おそらくそれはそれについて心配しない7つのポイントの90または何かです。
ちょうどそのようなことに重点を置くようなものです
値は実際には値が小さくなるように実際に変更されています。
ほとんどの場合、取得したい国と取得する国に到達する確率は100％です。
興味深いのは、ここでは0にすることです。 実際にはかなり落ちた9が大幅に減少しました。
何故ですか。
もしあなたがここから私たちの意図であるとすれば、壁に当たる可能性は10％ですが、実際に火災に終わり、報酬としてマイナス1を失う可能性は10％あり、基本的にそれは終わりのエージェントですゲームの
そして、これは非常に悪い状態です。
だから、突然、9年ぶりのゼロ点があったことを思い出してください。
あなたがここで聞いても問題はありませんが、これらの州のそれぞれにいるという価値観においては、ほとんど同等です。
しかし今、突然のバムのこの日は、あなたがすぐに行くならば、あなたが行きたいところに行くので、ちょうどここにちょうどこのちょうど良いものの2倍近くのようなものです。
ランダム性の結果はあなたがここに留まることを知っています。
ここで結果の1つが10％の確率でピットに入ることになります。
あなたが見ることができるように、これはもはや単に起こる可能性がある変動のためにもはやそれほど良い状態ではありません。
あなたが見ることができるように、これは非常に悪いことです。これは、あなたの面でこれと同じくらい悪いので、ピットで終わる可能性はわずか10％、壁に終わる可能性は10％です。
しかし同時に、割引率があります。まず第一に、割引率とそれ以降は、ここに行かなければなりません。
あなたが仮にここに行っても、あなたは再び穴に入ることができます。
この値はこの値から派生したものであり、この値はこの値から導出されるため、チャンスも考慮に入れます。
右。
そして、それは小さいですが、実際には私が言ったことは間違っていました。
この値は連邦準備制度から派生したものではありません。
だから今見ていると、ここの値が実際にこの値よりも大きいことに気付くでしょう。
あなたはエージェントのために、この方法よりもこのようにすべての方が良いことに気付くでしょう。
この方法でそれを失うことはないので、ピットに入る機会はありません。
はい、もう少し時間がかかりますので、割引率が大きくなります。
しかし同時に、ここでピットに入る可能性があるため、まっすぐ進むとジャンプする機会があります。
だから、時間をとるためにはドローが必要だし、そういう意味ではそれほどチャンスがないからだ。しかし、まだある。
だから、ここからここに行く。
それが終わる可能性があり、それが法案に終わる可能性があるため、潜在的にピットに入る可能性があります。
それにもかかわらず、それはあまりチャンスではないので、それはちょうどそれのように行くでしょう。
彼らがどのように変化しているのかを知ることは非常に面白いので、ここから先に覚えておいてください。
ここからあなたはそれのように行くだろうし、ここから私たちはそれのように行く。
そして今、突然あなたは彼の変化を見ることができます。
矢を転がして、それが今とぼんやりしているように見てみましょう。
あなたはもっとランダムなことさえ見ています。
はい、これは本当です。
しかし、ここで起こったことを見てください。
これを見てください。
あなたはそれを期待していましたか？
それは私が最初に私が非常に感銘を受けたこの1つを見たときに私が間違いなく好きなものです。
私はスーパーではありませんでした私は驚くことではなかったし、私はこれをまったく期待していませんでした。
そして、これは私が人間よりも優秀なことを知っている例です。
それはあなたが予測することさえできたもののように聞こえるが、執行学習を通して私は犬の例が実際には通常の実生活よりもうまくいくことを覚えている。
犬はあらかじめプログラムされており、私たちが見ることができないこれらのアイデアが出てくるので、ロボット犬はサッカーをすることができます。
そして、素晴らしい例として、あなたはおそらくアジア人が上がるのではなく、なぜ私がそうであるかということを期待していなかったでしょう。
私が上がると、10％の確率でピットに飛び込むでしょう。
しかし、それは戦争に入ることによって達成されます。
時間の80パーセントは、ぶつかり、州に留まるでしょう。
しかし、10％の時間がここに、10％の時間がここに行きます。
だから突然、あなたは壁に飛び込むこの新しいアプローチになっていることが分かります。
火事に入る確率は0％ですが、この場所からはそうです。
そして、それは本当に消火栓に入ることを望まないようなので、薬の入ったボンボンを数回壁の中に入れて、そのランダム性が起こるため、ある時点で右または左に行くでしょう。
そして、実験を通して、私が進むときにOKが、私が壁に行くほど良い結果ではないことを学んだことが分かりました。
そして、あなたがそれについて考えるなら、それはこのようなものです。
このロボットは、これが火球であると考えるなら、これは非常に小さな棚のような正方形のようなもので、これは崖のような山のようなものです。
そして、このロボットは崖を抱きしめているだけで、右手や左手を押すのが好きになるまで待つのと同じように、あなたはおそらく同じように立っていないか、崖の右を抱き締めているからです。
またはそのようなもの。
そして、うまくいけば、そのような状況で決して終わらないようにする必要があることを知っています。
しかし、視覚的には視覚的に好きなものはここで何か考えているかのように。
そしてそれはかなり強烈です。
AIがこのアイデアを思いつき、ここでは残っているものと同じで、Riskinは戦いに出ますが、私はあなたが壁を抱きしめて壁に飛び込み、私が知っていることを知っていることを知っていることを知っていることを知っていることを知っていることを知っていることを知っていることを知っていることは、毎回10％の確率であり、ここに行くでしょう。そんなことを続けてください。
彼らがここで取った非常に面白いアプローチは、ルートがこのようなものであることを見ることができます。ここから右に行くかもしれませんし、出口やここに行くか、そのまま左に行くでしょう。
そして、ここで我々はある時点で、あなたは左に行って再びそのようになるでしょう。
これは重要。
私は政策ではないので、ここから飛び降りてもここに行くでしょう。
おそらく、ここからは実際にはまっすぐに雨が降るかもしれません。
実際には右に戻ってきて、ここから私はその権利を得ることができます。
だからこそ、このアイアンマンにちょうど従わないかもしれない男たちのために、いろいろな選択肢があります。
これはそれがそれ自身のために設計された望ましいルートです。
しかし、それがうまくいく方法は、実際には異なる可能性があります。
それは現実の世界に依存します。
だからそこに行く。
それは人工知能の世界です。
これはポリシーと計画の関係であり、ここで見てきたことを考えれば、AIがとりうることによってゆっくりと興奮していることが期待されます。
これらは、AIが登場する決定のいくつかの非常に巨匠のタイプです。
この小さな例からでもAIをプレイしているときに見ることができるように、実際の世界でプレイしても、ときには人間が思い付くことがあるアイデアや意思決定が出てくることがあります。
そして、それはまさにGoogleのアルファゴールが対戦していた試合のように、韓国のゴールのリサ・アイドルチャンピオンとワールドチャンピオンのゴールに戻ったようなものです。
そして彼らは2016年に韓国のバック・バクラで遊んでいました.2016年3月だと思います。
人間が3000年前に演奏したことのない動きや、人間が遊ぶことに慣れていない動きが出てきました。
これはこれがまさにその例です。
だから、談話や、私たちが統合できるものについて興奮し、拍車をかけていることをもう一度願ってください。
私はそれを探します。
次回お会いしましょう。
それまで楽しむまで。
私。