‫お帰りなさい｡
‫前回のビデオでは､ predictメソッドを使って､ 機械学習モデル､ 回帰モデルに適合した機械学習モデル､
‫サイキックローン用語でいう回帰推定量を使って予測をする方法を見ました｡
‫では､ 何を取材しているのか､ チェックしましょう｡
‫だから､ ゼロワン､ ツー､ スリーをやったんだ｡
‫私たちはデータに対して何らかの予測を行いました｡ なぜなら､ それが機械学習のアングルであり､
‫ある種の予測を行うことだからです｡
‫既存のデータもありますしね｡
‫そのデータからアルゴリズムを学習させてパターンを見つけ､ そのパターンを使って将来の予測をしたいと思います｡
‫しかし､ 予測をすることと同じくらい重要なのは､ その予測を評価することです｡
‫では､ その中に飛び込んでみましょう｡
‫新しい見出しを書こうと思います｡
‫さあ､ 4です｡ 0.
‫機械学習モデルを評価する｡
‫私たちがモデルを評価するのは､ そのためです｡
‫そこで､ 何かを予測するためのモデルを作り､ それをアプリケーションに搭載したいと考えました｡
‫もし､ 私たちのモデルが悪い予測をしているとしたら､ そのアプリケーションを使う人にとって､ それは素晴らしい体験になるでしょうか？
‫たぶん､ ないと思います｡
‫ですから､ モデルをアプリケーションに入れたり､ 何かで予測したりする前に､ かなり重要なポイントになるでしょう｡
‫できる限り既存の予測を評価したい｡
‫サイキックには､ 3つの評価方法があり､ 3つの内蔵された方法と､ 独自のカスタム方法を作成することができます｡
‫しかし､ 3つの方法は､ サイキックローンモデル､ スラッシュエスティメーターを評価することです｡
‫これらは､ サイキックローンライブラリーの一部です｡
‫ひとつは､ スコアメソッドに内蔵された推定量である｡
‫これまでにも､ 少しは経験があります｡
‫2はスコアリング・パラメーターです｡
‫その1つの得点パラメータを見たことがないのです｡
‫これまでにもいろいろと取り上げてきましたが､ これからそれぞれの項目を確認し､ さらに具体的な指標機能を問題視していきます｡
‫そのため､ 分類や回帰の作業に応じて､ それぞれの問題時間に対する特定の評価指標が必要になります｡
‫そして､ これをどこから手に入れるか？
‫まあ､ これはサイキックローンの資料の中に入ってくるんですけどね｡
‫これがメトリックスです｡
‫そして､ スコアリングは非常に重要なピースです｡
‫これは実際のカリキュラムですが､ これを読み進めるには､ これらをすべて暗記する必要はなく､
‫どこにこの情報があるのかを理解すればよいのです｡
‫それがプログラマー､ 特に機械学習エンジニアの大きな役割です｡
‫データサイエンティストとは､ どこを見ればいいのか､ どこを調べればいいのかを知っているだけの人です｡
‫そこで､ これをここに置いて､ 3種類のAPIを取りました｡
‫そこで､ 推定スコア法､ スコアリング・パラメータ､ メトリック関数を用意した｡
‫さっそく､ それぞれを分解してみましょう｡
‫ちょっと､ ここに持ってきますね｡
‫それから､ これは......ここに置いておきます｡
‫これらについては､ こちらで詳しくご紹介しています｡
‫素晴らしい｡
‫では､ スコアメソッドのおさらいですが､ 見栄えを良くするためにフォーマット化します｡
‫その中に巻き込んでいく......美しい｡
‫おさらいをしましょう｡
‫そこで､ ポイント1について､ ここにちょっと別の見出しを付けてみます｡
‫スコアメソッドでモデルを評価して行きます｡
‫これをモックダウンにすると､ スケール､ アンサンブルの学習､ インポート､ ランダムフォレスト分類器と続きます｡
‫そこで､ まずは分類データでやってみることにします｡
‫AMP Random Seed 42.
‫さて､ 私はあなたに......あなたに､ ここで挑戦してほしいのです｡
‫XとYを作成します｡
‫ここにいくつかコメントを残しておきます｡
‫XとYを作成し､ train testを作成します｡
‫つまり､ Xは心臓病と等しく､ 心臓病のデータセットを使って､ 作成したいと思います｡
‫ここでは分類器モデルインスタンス､ そして分類器をトレーニングデータにフィットさせるところまでやってみます｡
‫だから､ それが私の挑戦です｡
‫ここでビデオを一時停止して､ 自分でコメントを記入することができます｡
‫でも､ 3回で戻ってきますよ｡
‫ひとつ｡
‫戻ってきました｡
‫それで､ これらを記入するために､ 一発勝負をしたのでしょう｡
‫でも､ そうでなくてもいいんです｡
‫一緒に見ていきましょう｡
‫このコードはちょうどこの上に書いてあります｡
‫さて､ これは､ まるで私たちがものを手に入れたかのように､ 何度も書いたものを書き直す場合､
‫コードをコピー＆ペーストさせる唯一の機会です｡
‫だから､ これをコピーするんです｡
‫これを倒します｡
‫スコア方式でチェックしています｡
‫それが最初にチェックするものです｡
‫では､ それをコピーペーストしてみましょう｡
‫そこで､ ランダムシード､ データの作成､ データの分割､ ランダムフォレスト分類器のインスタンス化を行います｡
‫今､ 私は､ そう､ 見積もりはデフォルトで100だと信じています｡
‫どうせなら､ そこだけにしておこう｡
‫学習データにモデルを当てはめる｡
‫では､ これを実行させましょう｡
‫美しい｡
‫だから､ フィット感があるんです｡
‫ランダムフォレスト分類器､ 素敵で速いです｡
‫そして､ 今度はスコアメソッドをどのように使っていくのか｡
‫さて､ これはちょっとひっかけ問題で､ 上で見たとおりです｡
‫実はこれ､ 全部コピーした細胞から出たものなんです｡
‫では､ やってみましょう｡
‫ほらね｡
‫スコア
‫そして､ 彼らのトレーニングデータでスコアリングしてみるのはどうでしょう？
‫1. 0.
‫さて､ なぜ1点なのでしょうか｡ 0を想像すると､ トレーニングデータ上で？
‫ちなみにスコアの最高値は､ 何？
‫明示的に書いておきますね｡
‫スコア方式の最高値は1である｡ 0.
‫最低は0です｡ 0.
‫だから1． 0.
‫分類アルゴリズムのデフォルトのスコアメソッドは､ 与えられたテストデータとラベルの平均精度を返すaccuracyです｡
‫そして今､ もちろん､ 精度とパーセンテージを求めるなら､ これをパーセンテージに変換する必要があります｡
‫だから1． 0が100%の精度です｡
‫だから､ これが0だったら｡ 8だと､ 80％の精度になる｡
‫さて､ なぜ我々の機械学習モデルは100％満点なのでしょうか？
‫満点を取るような機械学習モデルは､ どこでも疑ってかかるようにと､ 私はまだ言っていないだろうか｡
‫もしそうでなければ､ これは私が「完璧な測定基準には常に懐疑的であれ」と言っているのだと考えてください｡
‫なぜ私たちのモデルは1. 0を学習データ上に表示するのですか？
‫それは､ すべてのトレーニング機能とすべてのトレーニングラベルに触れているからです｡
‫それで､ モデルが十分に強力であれば､ データを分割することができるため､ 学習データで満点を達成することができます｡
‫私たちの場合は､ 0と1の2進数です｡
‫Xの訓練値のすべてから予測できるのです｡
‫Y列車の値をすべて完璧に予測することができるのです｡
‫さて､ テストデータの場合はまた別のシナリオになるかもしれません｡
‫まだテストサンプルを見ていないことを忘れないでください｡
‫我々は､ モデルが学習特徴と学習ラベルから十分に学習し､ 見たことのないサンプルについて予測できるようにしたいのです｡
‫それが機械学習の核心です｡
‫既存のデータからパターンを学び､ 見たことのないデータに対して予測､ 質の高い予測を行う｡
‫あ､ 未公開データでは少しスコアが落ちるんですね｡
‫これは､ 機械学習プロジェクトや機械学習の研究論文でしばしば目にする傾向です｡
‫通常､ トレーニングのスコアはテストのスコアよりかなり高くなることもありますが､ 比較的近い値になるはずです｡
‫しかし､ 一般的にはテストのスコアよりもトレーニングの方が高くなります｡
‫また､ もしテストで100％の精度とか､ 完璧な点数を取ったとしても､ 常に疑ってかかることです｡
‫もう一度､ データを確認してください｡
‫しかし､ モデルを少し悪くして､ 5つの推定量しか使わなかったとしたら｡
‫ここでどうなるか､ 見てみましょう｡
‫イコールで見積もる数｡
‫5つです｡
‫トレーニングの点数は？
‫満点でないのがわかるか？
‫何個までなら押せるか？
‫完璧です｡
‫これでよしとしよう｡
‫10個あればいいんです｡
‫それがアンサンブルアルゴリズムの力です｡
‫2つだけ使ったらどうだろう？
‫その結果､ どうなるのか？
‫たった2つで9割を超える｡
‫しかし､ その性能はどうなのか？
‫ほら､ もっと悪い点数が出てきた｡
‫これが､ アンサンブルアルゴリズムの概要です｡
‫ランダムフォレストは最も強力で高速なアンサンブルアルゴリズムの1つなので､ ここでは10個を使用します｡
‫学習データで満点が取れるんです｡
‫もし､ 500人くらいまで増やせたらどうでしょう？
‫テストの点数をもっと上げることはできないか？
‫実際にはそんなにテストの点数が上がるわけではありません｡
‫1000個くらい使ってもね｡
‫機械学習モデルでいろいろと手を加えることができるのがわかりますね｡
‫これが楽しいんですよね｡ いろいろなものをいじって､ いろいろな結果を出す｡
‫さあ､ 突き進みましょう｡
‫ここまで分類器のスコア法について見てきました｡
‫分類モデルや心理学習におけるデフォルトのスコア評価指標は､ ドキュメントストリングで確認できる精度であることを忘れないでください｡
‫私たちもそうしましょう｡
‫回帰問題でスコア法を使ってみましょう｡
‫だから､ それはあなたにお任せします｡
‫これを再現してほしいのですが､ 回帰データセットで､ 回帰アルゴリズムを使って､ スコア法を試す場合､
‫ヒントを出しますね｡
‫以前にもやったことがありますが､ 今回は自分で書き出してみてほしいです｡
‫同じように設定､ セットアップ､ データを作る､ データを分割する､ モデルを適合させる､ モデルを採点する､ を行ってください｡
‫次の動画でお会いしましょう｡