‫私たちを見てください｡
‫行ってください｡
‫ライトニングペースでこのフレームワークに移行しているのです｡
‫問題定義を行いました｡
‫データを見てみました｡
‫評価指標を決めました｡
‫私たちのデータから､ いくつかの特徴を理解することができました｡
‫さて､ 次はステップ5､ モデリングです｡
‫モデリングにはいくつかのパートがあり､ 4つのセクションに分かれています｡
‫これが､ 機械学習で最も重要な概念である「3点セット」でしょう｡
‫そして今､ モデリング全体にわたって､ 私たちの問題とデータに基づいて質問に答えたいと思います｡
‫どのような機械学習モデルを使えばいいのか？
‫モデリングは3つのパートに分けることができる｡
‫モデルの選択とトレーニング
‫モデルのチューニングとモデルの比較｡
‫このコース全体で最も重要なトピックは､ 機械学習で最も重要な概念である､
‫訓練と検証の分割､ または一般に3つのセットと呼ばれるものです｡
‫さて､ 機械学習モデルを使って何らかのデータからインサイトを得て､ 未来を予測したいわけですから､ それが現実の世界でどれだけ通用するか､
‫やっていけるかをテストすることが重要です｡
‫そのためには､ データを3つのセットに分割します｡ トレーニングセットではモデルを学習させ､ バリデーションセットではモデルを検証し､
‫テストセットでは異なるモデルをテストして比較します｡
‫なぜそれが重要なのか？
‫こんな風に考えてみてください｡
‫大学では､ 学期中ずっと教材を勉強することもあるでしょう｡
‫そして最終試験の前に､ 模擬試験で自分の知識をどう向上させるかを確認するとよいでしょう｡
‫模擬試験でうまくいったから､ 本試験でもうまくいく自信があるのでしょう｡
‫期末試験で､ それら､ 見たこともないような問題ばかりだと､
‫学習教材で学んだ知識を､ 期末試験の少し違うけど似たような問題に適応させることができるんです｡
‫そのおかげで､ 期末テストは素晴らしい成績で合格することができました｡
‫この教材や模擬試験から最終試験への適応を､ 機械学習では「汎化」と呼びます｡ 機械学習モデルは､
‫別のデータセットで学習したことをきっかけに､ 見たことのないデータでもうまく機能するようになるのです｡
‫さて､ これはどこで間違っているのでしょうか？
‫まあ､ 本番の試験のときに､ 教授がうっかりみんなに練習用の期末テストを送ってしまったら､
‫みんなもう見ているわけですからね｡
‫今は､ 自分が何を期待されているのかが分かっているので､ 試験に臨み､ すべての問題にすらすらと答え､
‫全員が最高の点数を取ることができるのです｡
‫しかし､ 本当に何かを学んだのか､ それとも単なる暗記マシーンに過ぎないのか｡
‫機械学習モデルが将来の何かを予測する上で価値あるものになるために｡
‫未見のデータについては､ 暗記マシーンにならないようにしたいものです｡
‫そこで､ トレーニング､ バリデーション､ テストの分割が行われます｡
‫心臓病の例では､ 100人の患者さんがいたとします｡
‫まずは100からスタートです｡
‫このような分割を行う方法として､ これらの患者をシャッフルし､ 70％を選んでトレーニングする方法がある｡
‫つまり､ 約70人の患者の記録がそこにあり､ 15％が検証用､ 15％がテスト用ということで､ トレーニングセットには70人の患者がいることになりますね｡
‫検証用スプリット15名､ テスト用スプリット15名｡
‫さて､ それぞれの割合ですが､ 標準的には､ トレーニングが70〜80％､ バリデーションが10〜15％､
‫テストが10〜15％程度が一般的です｡
‫いくつかの例では､ いくつかのセットやデータセットがトレーニングとテストにのみ分割されるのを見るかもしれませんが､
‫それはケースバイケースです｡
‫通常､ 3種類のセットを用意します｡
‫そして､ 選んだモデルで分割した後､ 学習データ､ つまり70人の患者記録の情報を投入するのです｡
‫そして､ 一度学習したモデルは､ 検証セットでその結果を確認し､ 改善できるかどうかを確認することができます｡
‫ここで､ モデルのチューニングを行います｡
‫つまり､ 機械学習モデルが患者さんの記録について1セットの結果を得たからと言って､ 実際にはそれを改善することができるのです｡
‫そして､ このことは､ 今後のバリデーションスプリットのレッスンで確認することになります｡
‫さて､ 検証スプリットは､ 改善できるかどうかテストすべきところです｡
‫そして最後に､ モデルを改良したら､ そのモデルの結果だけでなく､ テストセットでの実験中に行った他のモデルの結果も確認することができるのです｡
‫ここで重要なのは､ この3つのセットはすべて別個のものだということです｡
‫学習中､ モデルは検証用分割やテスト用分割を見ることはない｡
‫また､ テスト時には､ トレーニングセットではなく､ テストスプリットで行います｡
‫受験勉強のときと同じですね｡
‫練習中に期末試験を見てしまうと､ 不正行為になってしまい､ 最終的な成績に自分の学習効果が反映されません｡
‫今のところは｡
‫前回テストに行ったときのことを思い出してみてください｡
‫事前に練習をされたのですか？
‫やっていた練習はテストに役立ったか？
‫このことを考えるとき､ 機械学習モデルにテストセットやテストデータの分割を学習中に見せないようにすることが重要である理由と､
‫どのように整合するかを考えてみてください｡