こんにちは、人工知能のコースへようこそ。
そして今日、私たちは意思決定プロセスのマークやMについて話しています。 D. 私たちが今日持っているものを見てみましょう。
そこで、前回は地図のコンセプトを止めました。
Belman方程式に基づいて値を計算したので、この迷路でエージェントのためにこのマップを導き出すことができます。
そして基本的には、エージェントがどこから始まっても、どこから始まってもいいということです。
フィニッシュラインに到達するためにはどのステップをとるのか正確に分かりますので、ちょうど上に上がります。
右と完了。
それで、ここの質問はそれです。
それは本当に簡単ですか？
強化学習は本当にあなたが良い言葉の欠如のために知っている退屈です。
それはそうです。
いったんあなたがしなければならないのは、あなたが数学を持っているだけです。
まあ実際には、それは実際には単純ではないということです。
そして、それは良いコースです。なぜなら、このコースは私たちにとってもっと面白くて、実際にはもっと複雑な問題を解決することができるからです。
そこで、これはプロセスの跡が来るところです。
しかし、まずは2つのことについて話し合うつもりです。
確定的な検索と非確定的な検索の2つがあります。
では、決定論的検索の概念について説明しましょう。
これは迷路内のエージェントであり、確定的な検索は、エージェントが上がると決めると起こることは100％の確率で上がることを意味します。
それはまさに何が起こるかです。
他の選択肢はありません。
一度それが上がるか上矢印をクリックすると、それは上がるでしょう。
他の選択肢はありません。
一方、非決定的な検索は、私たちのエージェントがそれが上ってほしいと言っているときです。
彼らは実際にはいくつかのオプションがあります。
たとえば、3つのオプションがあり、3つのオプションがある場合の例を見てみましょうが、ランダム性が異なる可能性がありますが問題に応じて異なる可能性があります。私たちの場合は、彼が上がる80％のチャンスを持つ3つのオプションがあります。
しかし、10％の確率で彼が上りたいと思ったら、彼は実際には左に行くでしょう。
それは環境がどのように働くのか、彼が住んでいる世界だからです。
また、別の小切手で10％の確率で彼は実際に正しく行くでしょう。
そして、この場合、彼は火の手に落ちるでしょう。
それがすべての仕組みです。
これは確率論的プロセスを非決定論的に確かめた例であり、実際の世界で実際に現実世界で起こり得ることをより現実的なモデルにすることは、このような状況になることはめったにないためです。あなたが何かをすると、それはまさにそのように起こります。
ゲームの面でそれについて考える場合でも、エージェントがPac-Manをプレイしているとしましょう。
彼が広場に立っていれば、彼は上ってくることは間違いありません。
彼は毎回同じ結果を得るでしょう。
まあ、彼は確かに上がるでしょうが、どちらの場合でもあなたが幽霊によって食べられることはないでしょう。
彼は幽霊によって食べられるだろう。
あなたが見ることができるように、幽霊がどのように動いているかに依存し、いつも同じように動くとは限らないので、いくつかのランダム性があります。
必ずしも同じ場所で始まるとは限りません。
だから非常に論理的ですが、エージェントの管理下にないものがいくつかランダムなものであることは非常に公平であり、それは私たちがそれに対処する方法と方法を学ぶために、
Belmanの方程式に影響を与え、それが補強学習プロセス全体にどのような影響を与えるかを示します。
10％の確率で上下に微妙なことが起こりますが、最終的にはどこかで問題が発生することがあります。
しかし同時に、ランダム性はもちろん、あなたが上がるか右に行くか、あるいはちょうど左に行くか、10％の確率で右または左に行くか、
場合によっては、可能性が異なる場合もあります。
時にはランダム性が、その例のように沸騰するかもしれない何かに沸騰することがあります。
あなたが食べているパックマンの幽霊は、あなたを食べていないか、それは別の何かに沸騰するかもしれません。
たとえば、エージェントが運命を演じていて、あるケースでは彼を撃つことになるモンスターのようなものがあり、他のケースではすべてが射撃されなければならない可能性があるなどのようなものがあります。
そういうわけで、エージェントのコントロールから外れるものは、私が予測できないものです。
これが非決定論的検索でここでモデリングしているところです。ここでは、プロセスのマークとプロセスのマークと意思決定のマーカーとなる2つの新しい概念に直接アプローチしていますので、これらを見てみましょう。
そして、あなたは定義とたくさんのテキストを横に並べるのがどれくらい好きではないかを知っています。
しかし、この場合、私たちはそれを通過する必要があります。
だから、確率的プロセスには特性の痕跡があるように見てみましょう。
条件付きプロセスの将来の状態および過去および現在の状態の両方の条件付き確率分布が、それ以前のイベントのシーケンスではなく、現在の状態のみに依存する場合。
このプロパティを持つプロセスをマーカーといいます。
非常に複雑な定義であり、あなたが少し紹介するようなものは、それ自体と矛盾するだけでなく、それ自体が矛盾しているように感じるので、ここであなたのポイントに依存するポジティブな存在を条件としています。
しかし同時に、それは現在の状態にのみ依存する。
だから、あまりにも渋滞しないでください。
私は簡単な言葉でそれを分解しますので、プロパティの印はあなたの将来の状態があるときです。
だからあなたの選択だけでなく、すべてのもの。
あなたの選択とその環境で取る行動のすべての結果が好きな環境は、あなたが現在いる場所だけに依存します。
それはあなたがそこにいかに乗っているかに依存しません。
以上です。
それは公衆の問題であり、この財産を持つプロセスは市場プロセスと呼ばれます。
例に入れると、あなたの代理人がここにいて、もし彼が上がることを決めたら彼が行くなら、彼は行くかもしれません。
私たちの非決定論的検索の例では、彼は実際には左右に行くかもしれません。
大丈夫。
それは、私たちの環境の中にこの都市を張って、私たちの環境の中でその無秩序を持っているからです。
したがって、これらの事のいずれかが起こる可能性があります。
しかし、ここでの鍵は、これがプロセスの兆候であることです。なぜなら、あなたがここにどのようになっているか気にしないからです。
彼はここで終わったトップから来ていた可能性があります、彼は左から来ていた可能性があり、ここであなたは底から来て、ここで終わることができます。
彼は100000回のようにここを移動し、ここに来たような演奏をすることができました。
重要なことが起こる前に何が起きたかは問題ではありません。
そして、左または右に行く確率は、彼が今この状態にいる場合、常に同じになります。
そして、それは基本的にちょうど私達が今ここに来る前に何が起こったかは関係ありませんと言っています。
これがあなたの状態です。
そして州が彼が立っている場所を意味するだけではないことを忘れないでください。
状態は、環境内のエージェントの全体の全体の状態ですので、右のモンスターや左のモンスターのようなものですか、あなたが現在いる状態の上か下から幽霊が来るのが分かります。
あなたがそこにいかに乗っているかは関係ありません。どうやってその状態になっているのか、どのようになったのかは関係ありません。
将来起こることは、あなたが現在いる状態によってのみ決定されます。
プラスあなたがそれらを取るアクションプラスそれの上にオーバーレイされるランダム性。
それはプロセスの指標であり、マーカー決定プロセスまたはMVPまたはマーカー決定プロセスです。
成果が部分的にランダムであり、部分的に意思決定を支配する状況において、モデリング意思決定のための数学的枠組みを提供する。
意思決定プロセスのプロセスのマークを理解することが重要であるため、プロセスのマークはプロセスの異なる概念全体のマークとは異なります。
数学的な枠組みのようなものがあります。
しかし同時に私は、意思決定プロセスのマークマークの理解に役立ち、決定プロセスの跡があると考えているため、プロセスの兆候が何であるかを理解することが重要であると考えました。
これはまさに私たちが今まで議論してきたことであり、エージェントが以前のような制御を持ち、何が起こっているのかを完全に制御できる環境にエージェントが存在するようになっていますが、今は制御が少ししかありません。
それは上に行くことを決めることができますが、それは実際に知っています。
OKだから私が上がるなら、猿のチャンスがあります。私はこの試みを打ち上げ、チャンスは残されてチャンスは右に行くでしょう。
だからすべてが完全に支配されているわけではありません。
この環境にはいくつかのランダム性があり、それはまさに決定プロセスとマルコフ決定プロセスの兆候が、この環境で何をすべきかを理解するためにエージェントが使用するフレームワークとまったく同じです。
だから私たちはいくつかの毒性のある環境にランダム性を持っています。
そして今、代理人は、例えば左または右に上がるべきであると選択する必要があります。
彼はその決定をしなければならない。
彼は何をすべきか分からない。
そして、その決定を行うために、フレームワークは、決定プロセスの印を使って、どこに何が起こるかを決定することになります。
そして、基本的にこの問題を引き起こすこの環境は、決定プロセスのマークと呼ばれるので、エージェントが市場決定プロセス環境で動作している環境を参照すると同時にエージェントが使用するフレームワークです。
そして、基本的にここでは、プロセスの痕跡を持つ2つの概念が、PAが作業を行うようにこの環境を設計する方法です。
あなたが今どこにいるのかは、過去には依存しません。
そして、我々が決定プロセスの跡を得たのと同じ時期に、この環境を解決するためにエージェントが使用する予定のフレームワークがあります。
そして良いニュースは、私たちが話している決定プロセスやその枠組みは、実際にはBelman方程式の問題に加えて、Belmanの方程式ですが、ちょっと洗練されているということです。
だからそれを見てみましょう。
これはこれまでのBelman方程式です。
すべての可能なアクションの最大値です。
したがって、ある状態にあることの価値は、その状態から取ることができるすべての可能な行動の最大値です。
最大値は、その状態でそのアクションを実行することによって得られる報酬と、プライマリーである次の状態の値を掛けたディスカウント・ファクターから得られます。
それはこれまでのところこれまでのことです。
私たちのプロセス全体にいくつかのランダム性があるので、この部分は、実際にはどの国家が終了するのかを実際にはわからないので、変化します。私たちが上がるなら、それがどうなるのか分かりません。私たちは実際にこれを次の日付の期待値と置き換える必要があります。
ここでは、これを置き換えて、3つの可能性のある状態が終了するようにします。
それで、状態を1プライム（prime）の値とするある価値と置き換えるつもりです。
それはプライムのプライムとしての見解を持っていること。
そして、この状態は私たちの3人のBryneの価値を持っています。
だから今実際に入っている国には80％も乗じるつもりです。なぜなら、その国に来る確率とこの州に入る可能性を10％プラスイン・ステートにする確率ですからです。私たちが期待している価値だから、もし統計から見れば、私たちがこれらに取り入れる状態になるという期待値を取るかどうかは平均のようなものです。
それから、私たちはこの攻撃性を得て、それは非常に速く飛びます。大きなものがあるからですが、注意深く見れば、マックスについてここでマックスについて同じことが言われるでしょう。
それから、あなたはSとRのSのRを得て、あなたはガンマを持っているガンマを得ました。
そして最後にここにvがあります。
だからあなたは、それが決定的な検索であることを正確に知っていたので、あなたはどの州に入るのか分かっていました。
Vをとってからどの状態になるのか分かりません。
あなたは、あなたが将来の州に入るか、より単純な言葉であなたが入ってくるものの平均をとっている状態の期待値を取っています。
だから、あなたは30
+ 3％の確率のようなものだったように、このプラスのように基本的に3で割ります。
しかし、この場合、それは平均的な平均と全く同じではありません。
ここでは確率のために加重平均です。
だから、ここでは、プライムタイムとしてのプライムタイムと、プライムタイムの値と、これらすべてのプライムをクロスすることで、私たちが誰であるかを知ることができる、この段階に入ったときの確率を得ます。
だから正確に私たちはここに3つ1つ2つ3つ持っていた。
それらを乗算して加算します。
こっちも一緒。
一二三。
確率でそれらを掛け合わせ、それらを加えてください。
それがあなたの新しいBelman方程式です。
おめでとう。
これは私たちが今後一緒に働くことになるでしょう。
それが意思決定プロセスで使用されるフレームワークなので、これを解決するフレームワークです。
そのエージェントは、制御できない事態が発生している確率的非決定論的探索問題全体を解くために使用しました。
それはずっと複雑です。
しかし、私たちはゆっくりとそれを構築したので、あなたが見ることができます。
今私たちはすでに知っていることを知っています。
これは心配です。
私たちはこれについて知っています。
我々は彼らが何であるかを知っている。
だから、私たちがやったことは、行動に関係する確率があるか、確率に基づいて非決定論的に行動の結果が出るため、ここでこの部分を紹介しただけです。
それでそこに行く。
これは、意思決定プロセスのマーカーとその背後にある基本的な式です。
もう一度、実世界の問題、シナトラやゲームシナリオに似ているようなものです。すべてが単純ではないためです。
すべての関係者のいくつかのランダム性があり、必ずしも特定の状態でアクションを取るわけではありません常にNawalは常に同じ結果につながるわけではありません。
そして、これが私たちが今後進むべきことであり、それが物事をより面白くするためのものです。
だからうれしいことに、あなたはそれに興奮して、次に何が来るかを見て興奮しています。
そしてその間、私はこの時間を見て本当にクールな論文を見つけました。
非常に応用されている紙です。
だから、これは実際に読むのが面白いです。
意思決定プロセスのマークのアプリケーションの調査と呼ばれ、1993年に白で書かれました。
リンクと病気があり、マルコフの決定プロセスが実際のシナリオをモデル化するために実際に使用される場所の例を示しています。私はこれによって非常に興奮していたと思います。
私は、例えば集団収穫のいくつかの例に感銘を受けました。
ですから、あなたにはいくつかの魚があり、あなたが今年魚を何匹食べられるかを決めるためには、魚の人口が何であるか知っています。
それがあなたの現在の状態です。
それはあなたが取っている行動です。今年私たちは何人を撃ったことができますか？
では、その可能性のある結果は何であるのでしょうか。
私たちは来年、何匹の魚を食べますか？
1年後と1年後に何匹の魚が釣れますか？
それは決定的なものではありません。なぜなら、翌年に人口の1時間と90パーセントでそれをとってしまうと、あなたが100パーセントに戻って知っていることは正確に説教していないことに気づくでしょう。
私たちの支配から外れている特定のランダム要因が関与しているので、何が起こるのかを理解する必要があります。市場の決定が農業を処理するところで起こることをモデル化しなければなりません。
作物を収穫するようなもののような例があります。収穫しないとどのくらいの収穫が収穫されますか。
保険会社のような金融や投資を見ている別のものは、日々あるいはある程度の期間に投資する資金の額を決定する必要があります。
たとえば、何が起こるかわからない市場の動きを知っているので、何とかそれを実際にモデル化する必要があります。
それに使用される意思決定プロセスの印。
ここでたくさんの例を見ることができます。
そして、これは私がそれぞれ考えている例の数です。
そしてスポーツや流行のスポーツ例、モーター保険請求の点検、メンテナンス、修理も非常に興味深いことが分かります。
それを見てみましょう。
ちょうどあなたにちょっとだけ理解してもらうために、これはすべてのものを架空のMatrixタイプのもので構成したものではありません。
これは実際には現実の世界のシナリオなので、わかりやすくわかりやすくなりました。これは、プロモーションビデオの中で、私たちがあなたにインスピレーションを与えようとしているコースの説明や説明、そしてあなたにアイデアを与える直感について話したものです実生活でのAIの使い方について
これがあなたのチャンスです。
このペーパーを見て理解してください。
OK、私たちは今後の決定プロセスの兆候に対処するつもりです。
実生活でどのように見えるかは本当にクールだし、将来的にどのようにして世界をより良い場所にするために役立つのか、それについては非常に喜んでいるだろう。
このコースで学んだことを使って世界をより良いものにすることができれば幸いです。
どのように素晴らしいです。
このメモで、今日のチュートリアルを楽しんでいただければ幸いです。
私は楽しみにしています。次回お会いしましょう。
それまではAIをお楽しみください。