‫なるほど｡
‫そこで､ 混同行列とロックカーブ､ そしてAUCの指標を用意しました｡
‫書いてみよう｡
‫実は､ 自分自身とコミュニケーションをとってみよう｡
‫これで､ ロックカーブ､ 非対称行列､ 混乱行列ができました｡
‫だから､ ロックカーブがあるんです｡
‫非対称行列と混同行列｡
‫というように､ 分類報告をしてもらいましょう｡
‫クロス検証済み｡
‫ここがポイントです｡
‫クロスバリデーションによる精度・再現性・F1スコア｡
‫美しい｡
‫ですから､ 分類レポートが必要な場合は､ すでにそこに関数をインポートしていますので､ それが可能なのです｡
‫分類報告書を印刷しに行きます｡
‫分類レポートでは､ 精度とリコールとf1スコアが表示されます｡
‫でも､ まずは分類報告で見てみましょう｡
‫見つけることができる｡
‫パスしています｡
‫なぜテストするのか､ その理由は？
‫プレッズブーム｡
‫これで必要なものはすべて揃いましたね｡
‫もちろんです｡
‫検証された精度リコール､ ファインスコア｡
‫まあ､ そうでもないんですけどね｡
‫理由は､ この分類報告書があるからです｡
‫しかも､ Yスプレッドに載っている｡
‫1組のテストデータでしか行われていない｡
‫というわけで､ 分類報告書を作成しました｡
‫これによって発見されたのです｡
‫そして､ そのことは､ ここで予測をしたところに戻ってくればわかることなのです｡
‫そこで､ テストデータセットでの予測のみを行いました｡
‫だから､ もし戻ってきたとしても､ ここでは予測しかしていないんです｡
‫そこで必要なのが､ precision recallとf oneのクロスバリデーションスコアであり､ これは数値です｡
‫ここにあるのは､ 精密リコールとF1です｡
‫今､ 彼はこれを見て､ うーん､ と言っているかもしれません｡
‫ダニエルズは､ 精度と再現性とF1を相互検証する必要があると言っています｡
‫まだ正確にはわかりません｡
‫何が起こっているのか､ ちょっと忘れてしまったけど､ まあいいや｡
‫リフレッシュしていきましょう｡
‫精密さを手に入れた｡
‫つまり､ 精度はポジティブなIDの割合を示しているのです｡
‫だからa｡ k. aは心臓病であるクラス1を予測し､ これは実際に正しかった｡
‫つまり､ 誤検出のないモデルです｡
‫そうですね｡
‫つまり､ ここでの誤検出は､ 0になるはずのところを1に予測した誤検出ということです｡
‫これらのいずれも予測しないモデルの精度は1である｡ 0.
‫わかりました｡
‫それが精度なんですね｡
‫さて､ 想起とは実際に陽性となった割合のことである｡
‫どれが熱量的に分類されたのか
‫つまり､ 偽陰性を発生させないモデルの回収率は1である｡
‫つまり､ 偽陰性を生じないモデルです｡
‫つまり､ 偽陰性とは､ モデルが2値分類で0を予測した場合､ 1を予測すべきところを0と予測してしまうことを意味します｡
‫つまり､ このボックスがゼロのモデルは想起が1で､ 精度が1のモデルはこのボックスがゼロになるのです｡
‫つまり､ もし我々のモデルが完璧であれば､ これらは両方とも0になり､ 我々の精度と再現性は両方とも1になります｡
‫0.
‫そして､ 今のf1は､ 精度と想起の組み合わせです｡
‫つまり､ 私たちのモデルが完璧で､ 精度再現性､ スコアが1であったとします｡ 0 F1も1になってしまう｡ 0.
‫現在サポート中です｡
‫Supportは､ テストデータセットで各メトリクスが計算されたサンプル数です｡
‫値0のサンプルは29個､ 値1のサンプルは32個あります｡
‫心臓病もそうです｡
‫そして､ 今の精度｡
‫以前にも見たことがあります｡
‫そしてマクロアベレージ､ これはアベレージの略で､ クラス間の平均精度リコールとF1スコアの平均値です｡
‫つまり､ マクロ平均では階級のアンバランスが考慮されていないのです｡
‫ですから､ もしクラスのアンバランスがあったとしても､ 私たちの場合はここの数値が比較的似ているので､ アンバランスはないのです｡
‫例えばこれが2で､ これが59だったとすると､ クラスのバランスが崩れてしまうわけです｡
‫もし､ クラスのバランスが悪い場合は､ マクロの平均値に注意してください｡
‫しかし､ 加重平均の場合は､ 精度とリコールとF1スコアの加重平均である｡
‫ここでは､ クラス間のウエイトがカギとなるわけです｡
‫つまり､ 重み付けとは､ 各クラスに何個のサンプルがあるかを基準にして各指標を計算することです｡
‫だからa｡ k. a. この指標は､ 多数派のクラスeに有利に働きます｡ g. というのは､ あるクラスがより多くのサンプルを持っているために他のクラスより優れている場合､
‫そのクラスはより多くのサンプルを持っているので､ より高い重みが与えられるからである｡
‫ふー｡
‫ちょっと口惜しかったですが､ この情報は分類報告の資料で調べてみてください｡
‫そこで､ クラシフィケーションレポートSRCライン
‫また､ 先ほど取り上げた各指標を個別に調べることも可能です｡
‫そうですね｡
‫だから､ もっと知りたいと思ったら｡
‫実は､ 私たちはユーザーガイドが欲しいのです｡
‫これでよしとしよう｡
‫これは､ 分類レポートに関するいくつかの情報を伝えるものです｡
‫もし､ より精度の高い検索をしたいのであれば､ recall f one とサイクロンのドキュメントでこれらのマクロ平均加重平均を調べることができるだろう｡
‫しかし､ 先ほど､ これらのメトリクスは､ クロスバリデーション図を見てみると､ 1つのテストスプリットで計算されているだけだと言いました｡
‫そこで､ これらの指標を再計算するのですが､ クロスバリデーションを用いて､ もう少しロバストに計算します｡
‫では､ どうすればいいのか｡
‫ふむ｡
‫次のビデオまで待つしかないかもしれませんね｡
‫次のビデオでは､ クロスバリデーションを使って､ これらの指標を計算する予定です｡