こんにちは、人工知能のコースへようこそ。
今日のチュートリアルでは、楽しい時間を過ごすつもりです。
私たちは見て、人工知能が実際にその迷路を通り過ぎて、私たちが長らく話し続けてきたキル学習を使用してその道を辿り、道を見つけると、私たちは何が起こるかを見ますq値は政策に起こるだろう、など。
だから見てみましょう。
私たちはバークレー大学から親切に提供されている資料を使用しています。
だからあなたが行けば私はバークだけではないE R K E L Eなぜあなたは再びそのリンクに行かないの？
あなたはこのWebサイトを見て、私たちが何を見ているのか聞いてみると、私たちはPacManプロジェクトに行くつもりです。
私はPacmanのプロジェクトと思っています。もしあなたが下にスクロールすると、最初にこれを見ていると、これは我々が取り組んでいることです。
ここで、zipアーカイブをダウンロードできます。
それはあなたがしたい場合です。
そうはしないでください。私たちはこの試練で一緒に解決策をとどめるわけではありません。なぜなら、私たちがとても好きなので、これがどこから来たのかをあなたに知らせるだけです。
私たちは本当にそれを感謝します。
UCバークレーはこれらの資料を利用可能にしました。
しかし、あなた自身でこれを実験したいならば。
これは一部ではないことに留意してください。
バークレーコースの一環としてコースに参加することはありません。
私はそれがイラストレーションの目的のためにどのように機能するのかはわかりませんが、これを試してみたいのであれば、ここではzipアーカイブとすべての古い指示を見つけることができます。
そしてすぐにPythonに入るつもりです。最初に私はあなたにライセンス情報を持っていることを示したかったので、これが私の言うことです。
私たちは、私たちがやっていないパブリッシュソリューションの配布を知っていれば、教育目的でこれらのプロジェクトを自由に使用したり、拡張したりすることができると非常に幸運です。
あなたは私達が持っているこの通知を保持しており、UCバークレー校には私たちが持っているリンクを含む明確な大司教を提供します。
だからもう一度、リンクをもっと知りたいのであれば、もう一度。
あなたは一見を持つことができます。
そして、このプロジェクトに取り組んできたこれらの人々の多くに感謝します。グリッドの世界です。
そこに解決策があるなら、我々は働くつもりです。
あなたはそれを自分で解決しなければならない、あるいはおそらく解決策を見つけなければならないように、それを機能させるためにはしなければならないでしょう。
たぶんあなたが知っているあなたの何人かの人の一部があなたを助けてくれるかもしれません。
もう一度、あなたがしたいことがなければ、今すぐこの画面でそれを見るつもりであるからです。
だから私たちはすべてのファイルを作成した後、ここでそれを起動することができます。
だから、この世界全体に関わるいくつかのパラメータがあります。私たちがそれを起動すれば、それがどのように見えるかはわかりません。
では、手動モードで起動しようとします。
だから私がマイナス1つのパノラマは手動ですので、私はあなたのコントロールエージェントに命令することができます。
ここですべてのグリッドを見ることができるので、私は上に行くことができますので、それはアクションを開始し、私がいた州で始まっていることがわかります。
そして、私が押し上げたのがノルフの行動をとったのを見て、一度上がったら一度ゼロになった。
しかし、2度目の行動を取ったノフと私は同じ悲しみで終わったが動かなかった。
だから何かが起こったランダムなことが分かった私は左か右に行った。
デフォルトではパラメータが設定されています。
ここでは、デフォルトでは、意図していない方向に実際にどのくらいの頻度で結果が出るかを議論したとおりに設定されています。
時間の20％を10％、左側を少し右にします。
だから私が上って、私が上ったと言うなら、私は右に行く。
私は右に行った今は起こらなかった。
右と右と私は終わった。
しかし、この実装では、この最終出力から抜け出すためにもう一度クリックしなければならないので、もう一度クリックすれば完了です。
これはターミナル状態なので、マニュアルを実行できます。
私が右に右に左に行くなら、あなたはそれを見ることができます。
だからここで、エージェントがまっすぐに行かないことを以前に見たのはここです。
ピットに入る可能性がある場合は、何がポイントになるのですか？
それでエージェントが何をするのか見てみましょう。
それは左に行くと西に行くだろう西に行く。
そして、私は左をクリックしたが、それは上がって、ここをクリックすると右をクリックします。
私は最終的な出口段階で終わり、あなたは神の報酬が1に等しいことを見ます。
それはそれが手動のように見えます。
これで実際にAIをフックして通過させましょう。
ここでHをして、Brandnerを追加しましょう。
だから、私がここに入力したものを見てみましょう。そうすれば、グリッドの世界で私たちが何を意味しているのかがわかるはずです。
それは生きがいの報酬です。
だから私はそれらの2つを持っているので、私はおそらくこの1つを削除する必要があります。
したがって、マイナスkは反復回数です。
それはあまりにも多くの反復です。
Less lessをやりましょう10回の反復で十分です。
マイナスaは代理人です。
どのようなエージェントのタイプは、名誉とイメージといくつかの価値やQをしたくないです。
Q私はQが必要です
Qの学習エージェントがこのマイナスをしているのはスピードだからです。それはあまりにも大きいので、今度はフルスピードを使う力は生きているペナルティなのですから、デフォルトでゼロです。
だから、覚えておいてください。0生きている苦悩を再開してください。それを0
0と呼んで、このパラメータを削除してDをd割引します。
だから私はちょっとしたことだから、ゼロ点にしておきましょう。コースのこのセクションで始まるものと非常によく似ていますので、あまりにも速く走りましょう。探検する。
そして今のところ彼は負の3回の打撃を受けており、これらの四角形でq値がどのように更新されているかを見ることができます。
したがって、これらは重要な価値です。
彼らはゼロの一種です。
Q値が表示されます。
だから、彼はこれが少し違った実装であることを学んでいます。なぜなら、一度最終段階に入ると、あなたはそれから出なければならないからです。
終了するにはもう1つのボタンをクリックするだけです。
そしてそれは非常に1に近いですが、正確には1にはなりません。
しかし同時に、あなたは値を知っていることを知ることができます。ゆっくりと結晶化する手は、どこかにいる前の同僚のポイントですが、これまでのところ、彼らは十分な情報がないのでゼロのようです。何が起こっているのか理解する。
ここで何が起こるか見てみましょう。
何が起こるのかを探検することを探究する。
まあまあだった。
そして、私たちはこれにいくつかのランダム性を関与させます。
だから数回良いことがあります。
今度は彼は10回の反復しか得ません。
だから、彼は早く学ばなくてはいけません。あなたが必要です。
何が起こっているか見てみましょう。
いい加減にして。
すでにその迷路から抜け出す。
そして、はい、10のエピソードは平均的なので、それは判明しています。
それは本当にそれに興味がありません。
だからここで見てみましょう。
私は十分なクリックを見たことがありません。
右。
そこに行く。
だから、これは彼が思いついた政策であることがわかります。
ちょうど10回のエピソードでも、彼はすでに脈打っている。
私は爆弾を上げるつもりだ、ここで私はここに行くつもりだ私はここに行くつもり私は壁に入るつもりだ、そして私はここにいるバウンスするつもりです。
それはいいね。
OK。
それでは、速度を上げましょう。
そこには何があったのですか？
そしてそれは二重の無法のようなものです。
これは4倍のスピードであり、反復の回数を増やしてみましょう。今度は配給量を20倍にして、もう少し先に進むことができるかどうかを見てみましょう。
だから、彼は少し速くなるのを見ることができます。
そして彼は、彼が実際にこの状態から知っているわけではないことを知っていることを学んでいます。多くの良い行動はありません。
間違いなくこれは間違いなく良いことでした。
彼はまだここからも良いことを学ぶ必要があります。
この行動はかなり良いことがわかります。
大丈夫。
彼は何を得たのですか？
OK。
ここで面白い方針はあなたが上がることに決めました。
ちょうど十分な情報がありません。
それでは、実際にやりましょう。
100を好むようにスピードを上げましょう。
超高速で反復数が多いので、今度は反復回数が100回になるので、このシーンは狂った速さで実行されます。反復回数が多いので、より多くの情報が得られます。この行列や行列を実験して実際に構築する機会が増えますこれらの値はすべての単一の状態に対応します。
彼は今、あなたがゼロポイントの九十九を見ることができることを知っています。
ゼロ点で何を言いましたか86。
覚えておくべきもう一つのことは、任意の状態の価値である。
私たちが持っていた数式は、キューブ値の最大値です。
私たちがショートカット式を思いついたことを忘れないでください。
それでは、この状態の価値がこのVの何であるのでしょうか。
0になります。 18。
これは4つのうちで最も高いので、ここではこの状態0の値です。 7あなたはこの日の価値を求めています。
そこにはポイントがありますか？
それは覚えておくべきことです。
私が上っていたときに私はゼロ点86かそういうものがあったと思います。
私たちが来年に行くと、私はただ消えたり消えたりして戻ってきます。
OK。
少しゆっくりゆっくりゆっくりとゆっくりといっぱいになる。
そうですか。
また、環境にランダム性があるだけでなく、スターが本当にポリシーを知らないことを探求する方法も、ランダムに探索しているため、かなりランダムです。
ちょうど消えていく。
なぜか分からない。
とにかくここで数字を上げれば何が起こるかを見てみましょう。スピードが上がっていなければ、同じ量の時間がかかります。
彼は物事を探検するより多くの機会があるように彼はそうです。
それですべてがどうなるか見てみましょう。
そして、あなたが知っていることによって値が収束していることが分かります。ランダム性があり、彼がこのように行くにもかかわらずピットのように終わるかもしれないからです。
しかし同時に、彼らはゆっくりと何らかの値とキュー値に収束し始めています。
おそらく1000人は時間の点では多すぎます。
速度も比例的に増加しているようには見えません。
だからそれはその部分を切るかもしれない。
私はスピードを落とすような意味です。
これは非常に低いですが、このチュートリアルの最後まで熟考する必要はありません。ちょっと試してみたいと思います。私たちが何をしているかのような例をいくつか挙げておきますが、それはすべてを通過します。
それは、Ramblerの行動に組み込まれているようなランダム性を持っています。
したがって、ポリシーのようなものであっても、引き続き調査を続けるため、ポリシーに従うだけでは基本的なポリシーがないと好きではありません。
そのポリシーを強化するために、いまだに他のバリエーションを試してみると、すぐにすぐに最高のポリシーが見つからないことがあります。
多分それは政策を改善するかもしれない。
そのため、繰り返し回数を増やしても、何らかのランダム効果が見られることがあります。環境内のランダム性だけでなく、設定できるパラメータのようなレベルがあるためにランダムな状態にジャンプすることもありますあなたのエージェントがあなたのほとんどの時間を知っていると言っていますが、80％の時間はあなたのポリシーがあなたに指示するものは何でも行いますが、何か楽しい実験をして、何が起こるかを見て、あなたのポリシー
これは長すぎます。
もう一度試してみましょう。
そう、それはエージェントがさまざまな状態でどのように学ぶかです。
たぶん、好奇心からちょうどもう1つを実行しましょう。
それで、私たちがそれについて変えることができるものがあります。
反復。
OK。
さあ、見てみましょう。
うん、私たちは議論を変えることができます。
したがって、この場合、Kマイナス100マイナスQマイナス2、マイナス1000 OKです。
それで報酬。
多分0にしておきたいと思っています。 04しかし、これに反して、私の砂漠地帯の報酬は毎回ゼロになるとしよう。
そして、ここでは、割引はゼロ点9ではないが、ゼロ点の点5のようだと言うつもりです。
だからあなたはゲームを進んでいくにつれて、それはかなり多く割引されます。
だから、実際には、フィニッシュに近づくのではなく、フィニッシュに近づくことにインセンティブを与えることで、高い価値を得ることができます。
ここでは、これが現在のポリシーであることがわかります。
だから、私たちが以前に見たものと非常によく似ているようなものになります。
そうです。
そしてOKをもう一度実行しましょう。
これはとても面白いです。
もう1つ、k minus k 100 a qを破棄しましょう。
オリジナルのままにしておいてください。この基本的なバニラを実行して、ok ok okを設定しましょう。
それが私たちの政策を示すかどうかを見極めるでしょう。
そして、はい、我々はポリシーを持っています。
はい。
良い仕上がり。
だからここに私たちは政策を持っている。
これはおなじみです。
その時、AIが人間の爆弾を壁に打ち間違えて壁に突き刺し、壁に突っ込んで問題を増やすようになったのを覚えていた時を思い出してください。
だからそこに行く。
これは人工知能の例であり、非常に基本的な単純な殺害の利益であり、この段階での深い学習はありません。
しかし、それと同時に、それはすでにかなりスマートなので、今日のチュートリアルを楽しんでいただければ幸いです。
UCバークレーに感謝します。今日のチュートリアルを楽しんでいただければ幸いです。
それまではAIをお楽しみください。