‫お帰りなさい｡
‫さて､ ここまでは分類モデルを評価する方法をいくつか見てきました｡
‫また､ 機械学習モデルの評価は､ 多くの場合､ 予測と真実のラベルを比較することであることを忘れてはならない｡
‫では､ 次に分類モデルを評価する､ より視覚的な方法である混同行列を紹介しましょう｡
‫と､ 初めて知った方もご安心ください｡
‫このビデオを見終わる頃には､ 混乱マトリックスを実際にたくさん体験していただけることでしょう｡
‫そこで､ 分類モデルを評価する次の方法として､ ここにある混同行列を利用します｡
‫混同行列は､ モデルが予測するラベルと実際のラベルを比較する簡単な方法です｡
‫だから､ 真実のラベルはそれを予測することになっていた｡
‫要するに､ モデルがどこで混乱しているかを知ることができるのです｡
‫だから､ それはあくまで書くこと｡
‫さっそく手を動かして､ コードを書いてみましょう｡
‫サイキックローンの美しいところは､ こうした評価指標やフォーマット､ 機能がたくさん組み込まれていることです｡
‫スカラドット行列から混同行列をインポートして, WIP Redsに移動します．学習した分類器を使って予測を行い,
‫Xテストに対して予測を行い, YテストとYで混同行列を作成します．
‫ペレス その前に､ ドキュメントのサイクロン混乱マトリックスに飛び込んでみましょうか｡
‫ただ､ 自分たちが実行している機能を思い出してください｡
‫だから､ ここはこれでいい｡
‫では､ その入力内容を見てみましょう｡
‫第1パラメータとしてy trueを､ 第2パラメータとしてy predを用意しました｡
‫下にスクロールすると､ ここに例があります｡
‫これが､ 私たちが望む出力です｡
‫私たちの場合はyテストとしてyトゥルー､ そして私たちの場合はSを付けてyプレッズと呼んでいるようです｡
‫はい､ そうです｡
‫そこで､ このリンクを混乱行列にコピーして､ ちょうどこの上に置くことにします｡
‫わかったよ､ でも話はもういい｡
‫実際に見てみましょう｡
‫あ､ これだ｡
‫さて､ 今現在､ 私たちにとってこれはあまり意味のないことです｡
‫混乱マトリクスを経験したことがある人なら､ ここで何が起こっているのかわかるかもしれませんね｡
‫でも､ そうでない方も多いと思いますが､ これは単にいろいろな数字の配列なんです｡
‫では､ 続けていきましょう｡
‫そして､ これにラベルをつけるというのはどうでしょう｡
‫そこで､ 1つの方法として､ PDK Cross Tabという方法があります｡ パンダのCross tabを調べると､ 基本的に2つ以上の要素を比較することになるのです｡
‫では､ 実際に見てみましょう｡
‫ドキュメントが欲しければ､ もちろんこれを参照すればいいのですが､ 私は実際に手を動かしてみるのが好きなんです｡
‫そこで､ PDクロスタブy､ テストyを見開きにして､ ここに入ることにしましょう｡
‫パラメータにrhoの名前をつけることにします｡
‫ここでも､ そのすべてが語られている｡
‫インデックス､ カラム､ 行名､ 呼称があります｡
‫この2つのパラメータが何をするものかは､ おそらく想像がつくでしょう｡
‫そこに飛び込んで､ 彼らの活躍を見届けよう｡
‫実際のレーベルです｡
‫これが真実のラベルなんですね｡
‫そして､ コールネームは予測されるラベルに等しい｡
‫行が実際の値で､ 列がモデル予測ラベルからの予測値です｡
‫ああ､ そうだったのか｡
‫さて､ 0か1かの予想なので｡
‫心臓病か心臓病でないか､ 予測されたラベルがここにあり､ 実際のラベルはゼロ1です｡
‫そして､ 最も理想的な値は､ 対角線上にあるわけです｡
‫それはなぜでしょうか？
‫そうすると､ モデル0が予測したラベルは､ 実際の真理値0と0に一致することになりますね｡
‫そして､ 1でも同じです｡
‫さて､ これらのサンプルはここと反対側の対角線上にあります｡
‫これは左上から右下にかけてのサンプルで､ 実際のラベルが0であるにもかかわらず1を予測したり､
‫その逆を行ったりして､ モデルが混乱しているところです｡
‫ここでは､ 実際のラベルが1であるところ､ 0と予測しています｡
‫では､ もう少しビジュアルなものを見てみましょう｡
‫そんなこと言われてもわからないかもしれませんが､ 私としては､ きれいな色を見るのが好きなんです｡
‫では､ 基調講演に飛び入り参加して､ 混乱マトリックス解剖学とは何かを再確認してみましょう｡
‫私たちは自分自身を思い出すのではなく､ 自己紹介をするのかもしれませんが､ ここにいるのです｡
‫だから､ 対角線上に正しい値があるのです｡
‫そして､ 右上の値は､ 2値化クラスで偽陰性であると考えられる｡
‫バカンス問題｡
‫ここにも注目してほしいんです｡
‫今の混乱マトリックスでは､ 0か1の2クラスしか扱えないということでしょうか｡
‫しかし､ この混乱行列はいくらでも大きくすることができます｡
‫しかし､ 0から100まで一気にやってしまうと､ 想像以上に大きくなりすぎて､ なかなか可視化できないかもしれません｡
‫レッツレッツグーグルは本当に大きい｡
‫私たちは､ 本当に大きな混乱マトリックスが欲しいのです｡
‫この様子を見てみましょう｡
‫わかりました｡
‫これでよしとしよう｡
‫このように､ 本当に大きな混乱マトリックスはどのようなものになるのでしょうか｡
‫そして､ 実はもっと大きくてもいいんです｡
‫あれを見てください｡
‫それが90クラス｡
‫そうそう､ 混乱するんだけど､ これ｡
‫ああ､ それがいいんですね｡
‫理想的なのは､ そのような見た目の混乱マトリックスです｡
‫左から､ 左上から右下への斜線が強調されています｡
‫さて､ 混乱マトリックスでカラフルにするのはどうでしょう？
‫ここで何が起こっているのか､ 基調講演をさせていただきました｡
‫正解です｡
‫左上から右下です｡
‫真のポジティヴ｡
‫右上がTrue Negatives､ 左下がFalse Negatives｡
‫つまり､ これはどういうことなのか｡
‫モデルは､ 真実が1であるときに0を予測するので､ マイナスになります｡ 左下が偽陽性で､ 偽陽性は､
‫真実が0であるときに1を予測するモデルです｡
‫この続きは､ また今度｡
‫戻ってコードを書いてみましょう｡
‫さて､ サイキックローンには美しいメソッドがあり､ 実は比較的新しいものなのです｡
‫では､ 少し書いてみましょう｡
‫ここでヘディング､ サイキックローンを使って混乱マトリックスを作成｡
‫さて､ 実はこの映像の収録は2回目なんです｡
‫なぜ？
‫というのも､ このビデオを収録した当初は､ サイキックローンには別の方式があったのです｡
‫でも､ せっかくアップデートされたのだから､ できるだけ最新の状態で受講したいですね｡
‫新バージョンを手に入れました｡
‫サイキックローン1』に収録されています｡ 0.
‫だから､ 新しいメソッドを使うために
‫つまり､ これらは新しいものなのです｡
‫ちなみに収録時点では､ サイキックローン1. 0が出たばかりで､ サイキックで混乱マトリックスを作るには､
‫Skylonバージョン1が必要です｡ 0プラス
‫そこで､ これをマークダウンにしたいのです｡
‫これでよしとしよう｡
‫では､ 上を向いてみましょう｡
‫だから､ 私はスケールを学び､ 自分の手でインストールすることができるのです｡
‫サイキックラーンの最新版をインストールする方法を紹介します｡
‫だから､ ここはこのウェブページなんです｡
‫それを真似するんです｡
‫ここに降りてきて､ 今そこに置いておく｡
‫素晴らしい｡
‫あとは､ インポート学習でスカイローンのバージョンを確認することができます｡
‫すでにバージョン1をお持ちの方もいらっしゃるかもしれません｡ サイキックローンを導入したのが比較的最近であれば0､
‫また今後見るかもしれないので､ 最近というのは恣意的な表現ですが､ 一応確認しておきます｡
‫最新バージョンを使っています｡
‫しかし､ もしアップグレードするとしたら､ どのようにすればいいのでしょうか？
‫さて､ 端末に飛び込んでみましょう｡
‫これがノートブックを動かしているフォルダです｡
‫lsを実行すると､ このセクション2のData Science and ML Toolsが表示されます｡
‫そこでこのノートです｡
‫環境を起動させた
‫これから行うのは､ その環境を非アクティブにすることです｡
‫だから､ クリアを解除すること｡
‫だから､ 今はこのフォルダにすべてのノートブックが収まっているんだ｡
‫これが､ 昔作った私の環境です｡
‫環境作成について復習が必要な場合は､ そこにジャンプして戻ってくることができます｡
‫でも､ これからは自分の環境をコンデジで活性化させるんだ｡
‫ここでのドットは､ 「現在のフォルダーにある環境を有効にする」を意味します｡
‫そこで､ 現在のフォルダをここに｡
‫では､ もう少し詳しく説明するために､ これをすべて削除します｡
‫なるほど､ それで環境フォルダがあるんですね｡
‫つまり､ このフォルダ､ この環境フォルダをconda activate dot mというだけのことです｡
‫そして､ この環境でsidekick learnをアップグレードする場合､ あなたのノートブックと私のパスが若干異なるかもしれませんが､
‫ここに行ってみましょう｡
‫Pip install you useは､ upgrade sidekick learnの略です｡
‫だから､ また端末に戻ろう｡
‫そのpip installを実行します｡
‫あのね､ 最新版を動かしているから今さら勉強できないんだよ｡
‫そう書いてある､ そうだ､ そうだ｡
‫要件はすでに最新のものです｡
‫以前はsidekick lionのバージョン0を使用していました｡ 24点何かと思ったら､ 1をインストール｡
‫0で､ この新素材を作る｡
‫だから､ もう手に入れたんです｡
‫さて､ 1.を実行していない場合｡ 0､ そのような手順を踏んでください｡
‫すでに1.をお持ちの方は 0で､ それをノートブックで発見したのなら､ このコードはあなたのために働くはずです｡
‫1.をインストールしたばかりの場合 0の場合､ ノートPCのカーネルを再起動する必要があるかもしれません｡
‫それはしませんが､ 再起動をクリックし､ すべてを実行をクリックするだけで､ これらのセルリングをすべて再実行したくなるはずです｡
‫インポートサイキック｡
‫最新版を学習して､ 1だけ確認してください｡ 次のコードを実行する前に､ ここで0を入力してください｡
‫では次に､ スカラーと混同行列について調べてみましょう｡
‫そして､ ここで1.で導入された新しいメソッドや､ 新しいクラスやメソッドが紹介されることになります｡
‫0.
‫推定器による混同行列の表示｡
‫素晴らしい｡
‫というわけで､ こんな感じです｡
‫この方が私には色鮮やかです｡
‫と見ています｡
‫緑や黄色やタイルは､ 値が多いほど､ そしてタイルが濃いほどということです｡
‫これらのデフォルトカラーは､ 必要に応じて変更することができます｡
‫ちなみに､ ドキュメントを見て､ タイルの意味が濃くなればなるほど､ そこにある数値は少なくなります｡
‫では､ これを再現してみましょう｡
‫しかし､ 我々のデータには2つのバージョンがあり､ SRCラインマトリックスの混乱､ マトリックスディスプレイの2つのバージョン､
‫1つは推定値からのもの､ もう1つは予測値からのものです｡
‫この2つを見てもらうことにします｡
‫ですから､ 先に進みたい方は､ このドキュメントに来て､ それぞれの方法をクリックし､ 自分で試してみてください｡
‫でも､ 実際に見てみましょう｡
‫スカイラインのドットマトリックス輸入混乱マトリックスディスプレイから移行します｡
‫わかりました｡
‫つまり､ これが全体のクラスです｡
‫そして､ そのクラスの混乱マトリックス表示ドットをエスティメータから使用するのです｡
‫さて､ ここに何が入っているかは想像がつくかもしれません｡
‫訓練された推定量､ あるいは適合された推定量が必要です｡
‫我々の場合､ 現在の推定器はCLFである｡
‫ここでCLF､ ランダムフォレスト分類器と入力すると､ X､ つまりこの場合はXとy､ xとYを取り込みます｡
‫では､ ここで何が出てくるか見てみましょう｡
‫これでよしとしよう｡
‫美しいプロットを手に入れることができる｡
‫さて､ ここで得られたもの､ Yテスト､ Yスプレッドと､ XとYとの違いは何でしょうか？
‫まあ､ まずは価値観が大きく変わりましたね｡
‫それは､ Xデータ全体とYデータ全体を渡すからです｡
‫docstringを見ると､ shiftタブで､ estimate X, Yから何が必要か､ そしてlabel
‫sampleのようなオプションがあります｡
‫待てよ､ ノーマライズ｡
‫それが何をするものなのかは､ ドキュメントを読んでもらうとして｡
‫本来は､ プロットが出た時にどのような形になるかをカスタマイズするものです｡
‫そして, estimatorはインスタンスの推定値, フィットした分類器, または最後の推定値が分類器であるパイプライン上のスケールのフィットしたクラスである．
‫見積もりはどうなっているのか？
‫ランダムフォレスト分類器です｡
‫では次に､ 混同行列表示のもう一つのバージョン､ 予測から連想される方法について見てみましょう｡
‫さて､ ここでの違いは､ 先ほどのクロスタブと同じように､ 予測からy trueとy predが取れることです｡
‫だから､ エスティメーターがないんです｡
‫つまり､ 予測を用意しておく必要があるということです｡
‫一方, estimatorの他のバージョンでは, 予測なしですぐに混乱行列を作成することができます．
‫つまり､ 予測値から混乱行列のドット表示の予測を行うわけですが､ ここでdocstringを見てみると､
‫y trueとy spreadがあるので､ y trueはテストのラベルに､ y predは予測値のy
‫spreadと呼ばれるものに相当します｡
‫この混乱マトリックスがどのようなものか見てみましょう｡
‫素晴らしい｡
‫だいぶ良くなりました｡
‫よりカラフルに｡
‫また､ これらの色の最大のファンではないかもしれません｡ もし変更したい場合は､ ドキュメントを参照してください｡
‫これをカスタマイズする方法はいくらでもあります｡
‫ここまで来ると､ よりビジュアルな面も出てきますね｡
‫3つとも同じデータを表示していますね｡
‫これはここ､ これはここ､ これはここ｡
‫しかし､ それらは可視化のレベルが上がっているだけで､ 何が起こっているのかを理解するのに非常に役立つことが多いのです｡
‫というわけで､ 混乱マトリクスについては以上です｡
‫これは､ 学習した分類法がどうなっているかを見るための､ とてもとても視覚的な方法なのです｡
‫解剖学がお好きな方は､ こちらのスライドをご覧ください｡
‫そうでなければ､ 次のビデオでお会いしましょう｡
‫モデルの評価を続けよう