‫さて､ Bossから依頼された指標はすべて完了しました｡
‫うーん｡
‫混同行列､ Precision RecallやF1などの相互検証された指標､
‫そしてどの機能がモデルの判断に最も貢献したかを含む､ かなり良いレポートを作成することができるはずです｡
‫なぜ､ 実験のための見出しがないのかと思われるかもしれません｡
‫では､ ここに戻ってきたら､ なぜこれをスルーしていたのか？
‫そうですね｡
‫さて､ ここでの秘密は､ この全体､ 特にモデリングセクション以降が実験的であったということです｡
‫いろいろなことに挑戦してきました｡
‫さまざまな方法論を検証しています｡
‫私たちは､ データを探ってきました｡
‫ずっと実験していたんです｡
‫だから実は､ この枠組みを満たしているんです｡
‫問題を定義し､ データを調べ､ 評価指標を定義し､ 機能を確認し､
‫モデリングを行いました｡
‫本当は､ このままモデリングを続けて､ それを改善したり､ これまで使っていたロジスティック回帰モデルを改良したり､
‫もっとうまくいく別の分類モデルを探したりすることもできるんです｡
‫しかし､ もちろんビズの実践ではいつまでも物事が進むわけではありません｡
‫これは､ 概念実証とでもいうべきものですね｡
‫ちょっと試しに行ってみたり｡
‫このプロセス全体が2週間かかったとか､ そういう風に､ 分離されたタイムラインで､ 決められたタイムラインで､
‫一度違うデータを見るのです｡
‫実際にこちらで2時間程度でやっています｡
‫だから本当に､ 心配しないでください｡
‫もし､ あなたが物事を拾っていないなら､ これらのプロセスには少し時間がかかるのです｡
‫それで､ ヒットしたのでしょうか？
‫そこで､ 評価指標をもう一度見直して､ このまま進めるのか､ それとも十分な時間があるのかを判断することになるでしょう｡
‫クライアントと話をすることもあれば､ パートナーである企業と話をすることもあります｡
‫同僚と相談して､ 「いくつか試してみたんだけど､ コンセプト実証の段階で､
‫患者さんが心臓病かどうかを予測する精度が95％以上という評価指標にまだ達していないんだ」と言うかもしれませんね｡
‫機械学習では､ こういうところに行き着くんですね｡
‫このようなプロセスを経て､ 本当に止められなくなるのです｡
‫それがまた大変なんです｡
‫まあ､ 私たちの場合､ 95％とはいきませんでしたが､ かなり近づきましたね｡
‫そうですね｡
‫ロジスティック回帰モデルで90％程度の精度を得ることができましたが､ それがどこであれ､ この上のどこか､
‫ちょうどあそこのあたりです｡
‫だから､ 精度なんです｡
‫それがクロスバリデーションの時には88％くらいになったんです｡
‫では､ 次は何を試せばいいのでしょうか？
‫ここまで来ると､ ああ､ 評価指標を満たせなかったんだな､ と思うかもしれませんね｡
‫今までやってきたことは無駄だったのか？
‫いいえ｡
‫今回わかったことは､ 少なくとも現在あるデータで､ 少なくとも今あるモデルで､
‫何がうまくいかないかを明らかにしたことです｡
‫これで､ よし､ 新しいことに挑戦できる､ とわかったからです｡
‫わかりました｡
‫さて､ ここからがステップ6の本番です｡
‫そこで､ 自分自身の研究を始めるのです｡ さまざまな分類の問題を解決し､
‫改良されたモデルを構築し､ データの見方を変えていくのです｡
‫と自問自答することがあります｡
‫まだ評価指標にヒットしていない方はこちら｡
‫自分に問いかけてみてください｡
‫もっとデータを集められないか､ というようなこともあります｡
‫なぜなら､ 機械学習モデルは､ より多くのデータで学習することが好きだったことを思い出してください｡
‫では､ もっとサンプルを集めてもらえないでしょうか｡
‫今､ 患者さんのサンプルは303人分くらいあります｡
‫2倍にしてもらえませんか？
‫ポテンシャル
‫もしかしたら､ 専門家に相談しなければならないかもしれません｡
‫医師と話す必要があるかもしれませんし､ 一緒に仕事をしているクライアントやプロジェクトに戻り､ 「このデータセットを充実させるために､
‫もっとデータを得る方法はないだろうか」と考えるかもしれません｡
‫それとも､ もっと良いモデルを試せるのでしょうか？
‫と聞かれるかもしれません｡
‫さて､ ロジスティック回帰モデルを使い､ ここ､ どこだっけ､ サイクロンマップを見ました｡
‫再挑戦できそうなものはあまりないですね｡
‫うーん｡
‫そこで､ ちょっと調べてみる必要があるかもしれません｡
‫猫用ブーツのようなものを検討する必要があるかもしれません｡
‫当面はカバーしない｡
‫種を蒔くだけです｡
‫ここに書きますね｡
‫猫用ブーツとか｡
‫それは､ あなたにとって特別なカリキュラムです｡
‫キャットブーストとか｡
‫またはXgブースト｡
‫こういうのって､ 調べたくなりますよね？
‫だから､ その2つを検索してみるといいかもしれません｡
‫他に何があるのでしょうか？
‫まあいいや､ ロジスティック回帰モデルを試してみて､ 改善できたのであれば｡
‫では､ 現在のモデルを改良することは可能なのでしょうか？
‫これまで以上のブラケットで｡
‫そこで､ グリッドサーチCVやランダマイズサーチCVを使って､ ハイパーパラメーターチューニングを少し行ったかもしれません｡
‫ですから､ もう少し試してみて､ 数パーセントの精度を引き出せるかどうかを確認したいのです｡
‫ここでもまた､ 「これはあまり構造化されていないように見える」と思われるかもしれませんね｡
‫そして､ その真意は「違う」ということです｡
‫実験と機械学習の間の時間を最短にすることです｡
‫では､ 仮に評価指標をクリアしたとしましょう｡
‫そうすると､ もし私たちのモデルが十分なものであれば､ それを輸出して他の人と共有することができるのでは？
‫そこで､ モデルをエクスポートする方法を学ぶために､ ここに行くことにしたのかもしれません｡
‫そして､ ここに行くのです｡
‫モデルの永続性｡
‫例えば､ 同僚やクライアントにモデルを送りたい場合､ そのようなことが考えられます｡
‫モデルの送り方については､ ここで調べてみるといいかもしれません｡
‫サイキックローンのコーナーでやったので､ ここで行くと､ モデルが良ければ
‫評価指標にヒットしましたね｡
‫どのように輸出するのでしょうか？
‫そして､ それを他の人と共有する｡
‫そうですね｡
‫だから
‫ここで忘れてはならないのは､ このフレームワークの全体像が見えてきたということです｡
‫データがあるんです｡
‫問題を定義した｡
‫そのデータを探ってみました｡
‫評価指標を定義した
‫データの特徴について見てきました｡
‫機械学習のモデリングは何度も行っています｡
‫そして､ このプロセス全体が実験だったのです｡
‫そして､ これまで学んできたツールを､ 1つの美しいJupyter Notebookの中ですべて使っています｡
‫そして今､ 最後の収穫は､ 次に何ができるのか､ 本当の答えはない､ ということです｡
‫質問するのも､ 探し始めるのも､ 恐れるのも､ 間違えるのも､ あなた次第なのです｡
‫それが機械学習で一番足かせになることです｡ 質問をしない､ このようなことを経験しない､
‫他の人に連絡を取らない､ コミュニティに質問しない､ StackOverflowを見ない､
‫例を探さないなら､ 上達することはないでしょう｡
‫この企画の最後に､ 延長線上でできることは､ ここでこういう質問をしてみてはどうでしょうか｡
‫データセットが固定されているので､ これ以上データを集められないのかもしれませんが､ キャットブースターブーストのようなより良いモデルを試せる可能性はあります｡
‫それを試してみるのもいいかもしれませんね｡
‫とか､ 方法を調べてみるのもいいかもしれませんね｡
‫ハイパーパラメータチューニングにより､ 現在のモデルを改良することができます｡
‫でも､ おめでとうございます､ 今終わりましたね｡
‫ついてきている人は､ 今行ったところです｡
‫機械学習の分類問題でエンド・トゥ・エンド｡
‫すごいと思いませんか？
‫機械学習で､ 心臓病を予測する｡
‫見えてきたでしょうか｡
‫実は､ 次の話に進むよりも､ こちらの方が重要なポイントかもしれません｡
‫これを追って､ まだ迷っている人は､ ダニエル､ すげえな､ こんなにあるんだ､
‫となるわけです｡
‫よくもまあ､ これだけ覚えられたものだと思う｡
‫心配しないでください､ 私はまだその立場にいるのですから｡
‫機械学習のエンジニアとして働いている今でも､ その都度駆け足で進んでいます｡
‫ああ､ どうしたらいいんだろう？
‫いつもこうやって兎に角検索して､ ノートに持ち帰っています｡
‫機械学習の問題で初めてこのようなノートブックを作るときは､ おそらく今回のようなものにはならないでしょう｡
‫私たちのは､ かなりキレイでしょう？
‫だから､ かなり構造化されているんですね｡
‫フレームワークを順を追って説明しています｡
‫初めての人は､ きっとあちこちに物があることでしょう｡
‫そして､ それは良いことです｡
‫それは､ 新しいことに挑戦しているということですから､ 良いことだと思います｡
‫ここから何ができるのか？
‫このコードをチェックしてください｡
‫A すべて資料編に掲載されます｡
‫添付ファイルのどこかに入っているので､ それを見てください｡
‫もし､ インターネットのどこかに別の分類のデータセットがあれば､ それらを簡単に見つけることができます｡
‫だから分類｡
‫機械学習用データセット｡
‫一通り見つけることができます｡
‫UCI機械学習リポジトリで､ 心臓病のデータセットを見つけたのです｡
‫そこで見つけたのが､ これです｡
‫多分､ あなたは誰かを見つけることができるいくつかのより多くの場所､ KaggleまたはKDEナゲットを見つけることができます｡
‫さまざまなリソースがあるので､ 別のデータセットを探して､ 先ほど分類問題のために作ったパイプラインを､
‫別のデータセットでもう一度使ってみるのもいいかもしれませんね｡
‫また､ データセットを端から端まで挿入して分類する問題もありますが､ これはプロジェクトで1つの端から端までの分類をまとめることになります｡
‫何か質問があれば､ お気軽にどうぞ｡
‫そうでなければ､ 次のビデオセットでお会いしましょう｡