こんにちは、談話の第3のモジュールであるH-3海を同期的な能動評論員として歓迎します。
そして今、私は本当に、最先端の機械学習を歓迎します。
私はこれを言っているのですが、あなたの中には1〜2年でコースに参加する人もいるかもしれませんが、今は2017年にこれを言っています。
あなたは人工知能の中で最も強力なモデルの1つを扱おうとしていますが、このモジュールに関する唯一の特殊なものではありません。
我々は最も強力なモデルで作業するだけでなく、A-380モデルの最も最適化されたバージョンで実装されたこのアルゴリズムの最もパワフルなバージョンを実装しようとしています。アルゴリズム。
しかし、モデル全体を最適化するために使用できる多くのツールがあります。
それで、あなたはアルゴリズムの中核を担うだけでなく、モデルを超強力にするためにこれらのツールをすべて実装するつもりです。
なぜ私はそれをしたいのですか？
それは2つの理由があります。
第一の理由は、私たちが談話の終わりに近づいていることです。
このコースは、3つのコースの中で最高レベルのコースで、AIで対処します。
今、あなたはそれを次のレベルに引き上げる準備ができていると思います。
2番目の理由は、ブレークアウトの解決は実際には非常に難しいことです。
私たちが最初のモジュールとして打ちたいプロモーションビデオを思い出してください。なぜなら、それは最も簡単な課題だと思っていたからです。しかし、実際には最も難しい課題でした。これを説明する簡単な方法は、モンスターが大きくしたがって検出が容易であり、したがって容易に殺したり避けたりすることができる。
しかし、ブレイクアウトでは、目にはまだ目があるので、目にも検出しなければならない小さな球があります。
あなたはまだ深い強化学習をしています。
それは実際には非常に挑戦的なものなので、私たちは実際に実装する選択肢がないのです。
A-3の最も強力なバージョンは、なぜこれが最も強力なバージョンであると言うのでしょうか。
これは特別な理由によるものです。
私がA-380の最もパワフルなバージョンを実装するつもりだとは言えません。
いいえ、これではありません。
Piトーチの創造者であるマシン学習の今日。
私がこれを言っているのは、私たちが実装しようとしていたバージョンで、これは非常に特別なものです.3Cのバージョンは、誰かによって実装されましたが、最も影響力のある人々
彼の名前はダン・パシュカです。
今私たちは何をするつもりです。
私たちはメインページを手に入れようとしています。下にスクロールすると、チームがアーチのクリエイターと貢献者と戦うチームが表示されます。
私のトーチは現在Adam Pascalによって管理されています。
それは、ブレイクアウトにはうまくいく3つのバージョンのバージョンがほとんどなく、A-380のコードの1つをブレークアウト作業を完全にうまく機能させるように修正したので、本当に感謝してくれる人物です。
だから、パスカルは、向こう側を維持するだけでなく、また、彼はトーチによる創造の一つであり、私が今日言ったように、彼は機械学習における最も影響力のある人のトップ10にいます。
だから私たちが実装しようとしているバージョンはおそらく今日のA-3の中で最も強力なバージョンだと確信することができます。
そして、この実装は何ですか？
元々、それはiliacの歴史と呼ばれる開発者から来ています。
そして、あなたが見ることができるように、彼はもともとブレークアウトのためにうまくいかなかったA3
Cの実装に向かって行ったが、誰かがプルの要求をした。
私たちがここでプール要求に行くと、近い将来にGretchenの問題に対するより洗練された解決策が得られます。
そして、このプルリクエストが誰からなされたかを推測してください。
これは、トーチによって作成されたアダム・パシュカから作られたもので、A-380が何日も何日も待つことなく非常にうまく動作するようにする問題を解決しました。
したがって、この実装に戻ると、この最も強力な実装の4人の貢献者を見ることができます。
そして、ここに貢献者がいます。
皆さん、本当にありがとうございました。スレッド共有の問題を解決するためのAdamの情熱に、巨大で特別な感謝を言うことができます。
彼はコードのサブブランチであるフォークを実行することから始めました。
そして、彼はこの問題を解決するために開発者にプルリクエストを出しました。
私はAC
DCモデルで多くの実験を行い、実際に5つのモデルを実装しました。
私はそれがうまくいっていないことも絶望的だったので、私は自分のブレイクアウトとケービーを作り、大きなボールを持ち、画像の前処理を簡単にしました。
その後、私は目に戻り、3Cの独自の実装を行いました。
しかし、それはかなり強力なコンピュータで走ったり練習したりする年月がかかりました。
だからもっと良い方法を探したかったのです。
そして、それはそうです。
主要貢献者の1人がトーチによるクリエイターであるSilmarilの非常に強力な実装。
だから私たちがこのMudgalでやっていることは、あなたがA3の実装のためにこの最高レベルのコードを実装する準備が整ったと思います。
したがって、基本的にこれらのファイルをすべて再実装するつもりです。私たちは、私たちが見るのと直接関係がある3つの部分すべてに直接関連するファイルを主張します。
私たちは、他のコードに対して、コードを1行ずつ実装します。
私はちょうどコードを拡張するので、あまりにも圧倒的なものを見つけることなくこれに取り組むことができなければならないので、かなり特別なモジュールになります。
私たちはAIの最先端のモデルで働くだけでなく、私が話している時に、私たちがA-380の最も強力なバージョンを実装していると確信しています。
だからそれをやりましょう。
Pythonに戻って、始めてみましょう。
私たちはこのモジュールで行う最も簡単なことをやるつもりです。
作業ディレクトリのフォルダを設定します。
私たちのAIに行くのは、最も挑戦しやすいテンプレートフォルダモジュールです。
そしてそこに行く。
それが私たちのファイルです。
ですから、A-3と直接関係のあるものを見てみましょう。
そして、我々が実装しようとしているものを見てみましょう。
ラインごとに、そして私たちのエネルギーを集中させてください。
実際には2つのファイルがあります。
最初のものはこれだけではありませんので、1行ごとに再実装します。なぜなら、それがA-3に脳を見せてくれる最も重要な部分だからです。
ここで理解することの最も重要なことは、俳優と評論家の重みの同じデータを持つ共有モデルを持つことです。
これは、A-3のこの特別版の一部です。共有データとの共有モデルと、実装するための最も重要な創始者です。
一行一列目は訓練された野生の鳥です。
私たちはそれらを訓練しなければなりません。私はこの列車で私が妻を養成します。
だからこれはかなり長いコードですが、これは、米国での評価を下げるためにLass氏に提出しなければならないA3
Cモデルの心臓部を含んでいるものです。これは、評論家の予測と最後のポリシーである原子の予測に関連する。
だからこれは全く新しいですが、それはA-380が基本的にそれぞれの環境のコピーを持ついくつかのエージェントと協力していたからです。
基本的には、ゲーム内で起こっていることの共通のビジョンです。
だからこれはかなり難しいでしょう。
それで良い形になっていることを確認してください。他のフェローたちのために、私はそれらを詳細に説明しますが、あまりにも多くの時間を費やして、あなたがこのためにあなたのエネルギーを保持したいと考えているとは信じていません。
これはすでにたくさんあるでしょう。
だから、これらのフェローは、宇宙のおかげでジムの環境の改善であるアリのダッキーYです。
基本的には、宇宙と一緒にジムの環境を改善するだけで、画像の最適な前処理を行い、色の濃さや報酬の強さなど、環境のすべての値を標準化することができます。
環境のすべての値は、これらの値すべてを正規化し、画像の処理を継続しないように十分に注意してください。
そして、あなたはこれがこのオープニングから取られているのを見てわかるように、私は彼女のページを宇宙物語のエージェントに送ります。
だから私たちはこれにあまり時間をかけずにここで実際にやります。
宇宙を持つジムの環境を改良して、画像を処理しないように十分なものになったことを理解する必要があります。
残りの部分は特にPCにとって重要ではありません。
それから、私たちはP Yを持っています.P Yは、すべてを実行するコードです。
だから、あなたは脳全体を動かすコードが脳を鍛え、ビデオを出力することを知っています。
そして、それはここでこれらすべてのコードを実行するためです。
だから、私たちはそれがどこに現れたのかを知った。
特別なオプティマイザはなぜですか？
これは基本的に原子オプティマイザですが、実装しているこの共有モデルに適応しています。
そこで、このコードをすべてチュートリアルで説明します。
それから、テストW-理由があります。
それは実際にテストする最後のものです。
Q基本的にテストエージェントを実装するファイルはなぜですか。
そのため、モデルを更新せずに遊ぶエージェントがあります。
それはトレーニングとは完全に独立しています。
また、このコードを詳細に展開します。
良いニュースの他に、2つのコードを1つのコードとし、チュートリアルで実装するコードになりますが、コメントは一切ありません。
そして、すべてのコードを持つコードフォルダの1つであるコードの1つがそれを命令します。
だから、これらの6つのファウルがすべてうまくつながっている。
だから、もしあなたが何かを見逃してチュートリアルをしたら、コードの内容を見て、何が起こっているのかを理解することができます。
だからそこに行く。
私はあなたがこれを実装することを嬉しく思います。
あなたは本当に山の頂上にいます。最初にこれを理解する必要があるので、あなたはそこに着いています。
だから、酸素をよく呼吸してください。
そしてそこでは、私たちは超エキサイティングな旅に行きます。
それまで楽しむまで。