‫ロジスティック回帰モデルのハイパーパラメータを調整したところ､ かなり良いスコアになりました｡
‫しかし､ このスコア､ 分類器のデフォルトのスコアはaccuracyであることを覚えておいてください｡
‫今やりたいことは､ このモデルについて､ 精度を少し超えた評価指標を作ることです｡
‫具体的には､ 調整した機械学習モデルを作ってみよう｡
‫実は､ この評価指標は分類に特化したものなので､ 精度を超えて､
‫機械学習分類器の方がいいかもしれませんね｡
‫そこでまた､ より具体的には､ ROC曲線とAUCスコアが欲しいところです｡
‫また､ 混同行列も欲しい｡
‫実際に数字が多くてマトリックスに出てきそうなフォーを入れているんです｡
‫あの､ 流れるような緑の画面｡
‫分類報告書が欲しい｡
‫他に何が欲しいのか？
‫私たちは､ precision recallとf one scoreが欲しいのです｡
‫そして､ それは素晴らしいことだと思います｡
‫そして､ 可能な限りクロスバリデーションを用いていただければと思います｡
‫では､ それをマークダウンに変えてみましょう｡
‫というわけで､ 今回はこんな感じです｡
‫私たちがチューニングしたグリッドサーチ､ ロジスティック回帰モデル､ またそれに最適なタイプのパラメータを使用することになります｡
‫そして､ それらがどのような場面で登場するかは､ またの機会にご紹介します｡
‫だからまず､ モデルを評価するときは､ 常に学習したモデルの予測値が真実のラベルと比較してどうなのかを比較することになる｡
‫そこで､ やるべきことは､ まず予測をして､ 真実のラベルであるaと比較できるようにすることです｡ k. a は､ Y テストデータセットのラベルである｡
‫では､ そうしましょう｡
‫まあ､ ここにメモを書いて､ 比較したり､ 学習させたモデルを評価したりしてください｡
‫まず､ 予測を立てることが必要です｡
‫そのためにpredictという美しい関数があるので､ それをYスプレッドに保存して､ グリッドサーチモデルの学習済みバージョンであるGS
‫log rigを使用します｡
‫だからGSログリグは予測しないし､ 我々はテストデータで予測するつもりだなぜプレッズワンダフル｡
‫そして､ 念のため見てみましょう､ 美しくなっていますね｡
‫そして､ 今度はテストデータセットと比較する必要があります｡
‫そこで､ ここで見てもらうことにしました｡
‫なるほど｡
‫もし､ ゼロ・ゼロにしようと思ったら､ これは間違っている､ これはゼロであるべきだ､ これは真実のラベルだからだ､
‫ということがわかりますし､ その後も続けていくことができます｡
‫そのために､ いくつかのコードを使いたい｡
‫まず最初に､ ロックカーブが必要です｡ この小さなリストがあることを思い出してください｡
‫ロックカーブとAUCスコアがあるんですね｡
‫うーん｡
‫ロックカーブとは？
‫まあ､ 調べればわかることなんですけどね｡
‫では､ ロックカーブとは何なのか｡
‫このような流れで進めていきました｡
‫AOCのRocカーブを理解することです｡
‫だから､ これを読み解くなら
‫ロックカーブとは､ 様々な閾値設定において､ 真陽性率を偽陽性率に対してプロットすることで得られるものである｡
‫OCビューティフル
‫では､ その方法をみてみましょう｡
‫ロックカーブは､ 真陽性率と偽陽性率を比較することで､ モデルがどのように機能しているかを理解するための方法です｡
‫また､ 真陽性と偽陽性が何であるかを把握したい場合は､ 混同行列を見ればよいでしょう｡
‫つまり､ 真実が1であるときに1を予測するのがトゥルーポジティブ､ 真実が0であるはずなのに1を予測するのがフォールスポジティブということです｡
‫そして､ 完璧なモデルはAUCスコアを取得することになります｡
‫1の1秒間に見えるもの｡ 0.
‫では､ その方法をみてみましょう｡
‫そこで､ スカイラインのドットマトリックスからRCカーブ関数をインポートします｡
‫そこからです｡
‫そこに住んでいるのです｡
‫しかし､ 実はこれは､ これまで使ってきた他のライン関数と同じように､ 最初のほうですでに行っていることです｡
‫ここに戻ってくる｡
‫このモデル評価は､ 次のセクション､ この次のビデオで､ ここから全てに取り組みます｡
‫ランダム化検索､ グリッド検索､ キー混同行列プロットカーブ､ 精度スコア､
‫再現スコア､ F1スコアを使用するところです｡
‫これらは分類モデル用ですね｡
‫では､ 降りてみましょう｡
‫一行分のコードを節約できる｡
‫実際には輸入する必要はないんですけどね｡
‫すぐ下に戻ってくる｡
‫行けばいいんです｡
‫Rocカーブをプロットする｡
‫さて､ これはサイキックローンライブラリーに比較的新しく追加されたもので､ とても､ とても嬉しいことです｡
‫通常は自分で書かなければならないものですから｡
‫この関数､ このプロットカーブ､ そして計算が､ 実際にAUC指標を計算してくれるのです｡
‫では､ 曲線下面積という指標､ 実際に見てみましょう｡
‫ROCカーブをプロットしてみる｡
‫彼女はグレッグと同じだ｡
‫これは機械学習モデルPassatの推定値で､ Passat y plot receiver,
‫operating characteristic, accurate curveです｡
‫それはそれで､ 私たちのためになることです｡
‫美しい｡
‫そこでJes log rig x testで､ テストデータセットでやってもらいたいのです｡
‫常に評価する｡
‫これは計算する必要があります｡
‫常にテストデータセットで機械学習モデルを評価し､ 見てみましょう｡
‫おお､ 美しい｡
‫さて､ これまでのビデオで見てきたパーフェクトロックカーブを思い出してください｡
‫このコーナーまで行って､ あのように横切るのですが､ Tedがかなり上がっているので､ そうすると､ カーブの下の領域が出てくるのです｡
‫そこで､ この下の面積をすべて0.5mmで計算すると､ 0.5mmになります｡ 93､ もちろん完璧なモデルであれば1を達成する｡ 0.
‫つまり､ 私たちのモデルは完璧ではありませんが､ AUCスコアが0なのです｡ の平均がちょうどの時に93｡
‫本来ならコインを投げると0になる｡ 5.
‫つまり､ 完璧なモデルに近づいているのです｡
‫箱から出したばかりのモデルとしては､ 悪くないと思います｡
‫わかりました｡
‫次に行いたいのは､ 混同行列です｡
‫では､ それを見てみましょう｡
‫だから､ コンフュージョンマトリックス｡
‫どうしたらそんなことができるのだろう｡
‫だから､ Loneには機能があるような気がするし､ わからないような気もするんです｡
‫だから､ それだけで機能があるような｡
‫混同行列で､ 真実のラベルと予測されたラベルを比較することができます｡
‫なるほど｡
‫そのままにしておけばいいんです｡
‫それはちょっと味気ないですね｡
‫この混同行列の視覚化を改善するために､ 以下を使用します｡
‫シーボーン
‫それが私たちの願いです｡
‫だから､ 私たちは行きたいんです｡
‫ここにはすでにシボレーがあると思います｡
‫そうですね｡
‫くしゃみをするか？
‫ええ､ そうです｡
‫だから､ このプロジェクトでシーボーンを使ったことがあるから､ 行けるんです｡
‫私なら､ フォントサイズを大きくする必要があることを前もって知っています｡
‫つまり､ フォントサイズは1に等しい｡ 5.
‫それは､ ドットセットをサンズしているだけです｡
‫さて､ ここで､ 別の混乱行列を作りたい場合に備えて､ 小さな関数を作っておきます｡
‫サイキックが混乱を学習するため､ このビデオを作るようにマトリックス機能はスクラッチにアップされていません｡
‫いつでもいいじゃないですか｡
‫プルリクエストのチャンスかもしれませんね｡
‫だから､ ここに行くんです｡
‫シンプルで良いですね｡
‫だから､ そのまま通過してしまうのです｡
‫この機能､ 私たちのテストです｡
‫ラベルと我々の予測したラベル｡
‫そして､ C結合を使って､ 見栄えの良いプロット行列を作成します｡
‫以前にも同じようなことがありました｡
‫ヒートマップ
‫素晴らしい｡
‫だから､ 頑張れ｡
‫X イコール plt dot subplots fig size イコール 330 shift into trigger happy again x イコール sas heatmap.
‫素晴らしい｡
‫そして､ サイキック学習機能 sigh confusion matrix y test y pred を渡すことにします｡
‫そして､ ここにnot so annotateを加えたいと思います｡
‫はい､ お願いします｡
‫Annotateはtrueに等しい｡
‫C Barにするのは､ Calabarを見たことがあり､ 混乱マトリックスPLTドット×ラベルではあまり見栄えが良くないからです｡
‫Trueラベルを表示し､ plt yラベルでラベルを予測し､ それを見てみましょう｡
‫そこで､ comp format confusion matrix y, test y spread をプロットすることにします｡
‫あ､ いや｡
‫私たちは何をしたのでしょうか？
‫文字サイズ
‫とはいえ､ アルフォンソは間違っている｡
‫このタブは何ですか？
‫ああ､ スケールね｡
‫これでよしとしよう｡
‫タブのオートコンプリートはクラシックで､ ここでちょっと切れてしまうので､ これを修正することができます｡
‫ボトム・トップでXドット・ゲット・Yリム・イェップだと思います｡
‫そして､ 軸組に入りたい､ ウィリアム｡
‫ちょっときれいなセットにする｡
‫ウィリアム そして､ 底辺のクラス､ 0になる｡ 5トップ -0. 5.
‫さて､ もちろん､ 混乱マトリックスがうまく見えたら､ これらの行は必要ないかもしれませんが､
‫それは問題ではありません｡
‫これでよしとしよう｡
‫少しはマシに見えるかもしれませんね｡
‫だから､ モデルが混乱しているのがわかると思います｡
‫そのため､ どちらのクラスでも比較的同じように間違ったラベルを予測します｡
‫つまり､ モデルがゼロを予測した場面が4つもあるのです｡
‫心臓病と予測されるはずの人が､ 予測されたラベルによって心臓病でないと予測された｡
‫だから､ それは偽陰性だ｡
‫つまり､ 1ではなく0を予測するわけです｡
‫偽陰性である｡
‫ここで思い出してほしいのは､ 偽陰性モデルは､ 真実が1であるときに0を予測することです｡
‫そして､ こっちが誤検出です｡
‫だからa｡ k. 1つは､ あるモデルが心臓病であると予測した人が､ 実際にはそうでなかったという事例が3つあります｡
‫そして､ これらはどちらも避けたいことであることがおわかりいただけると思います｡
‫そうですね｡
‫特に､ 心臓病のような重篤なもの､ 深刻なものを考えているときは､ それが存在しないときでさえ予測することができるのです｡
‫ではここで､ ゼロを予測すると｡
‫だから､ それがあると病気がない｡
‫なるほど､ それはまずいな｡
‫でも､ 実際にはないのにあると予測するのも､ それはそれで悪いことです｡
‫ですから､ このようなモデルを作る際には､ その点を考慮する必要があります｡
‫偽陰性の方が悪いのか､ 偽陽性の方が悪いのか？
‫また､ 完璧なモデルであれば､ このようなことはありませんが､ 現実には､ モデルによって何らかの混乱が生じていることでしょう｡
‫理想を言えば､ この辺り､ ラインを挟んだ向こう側にこれがあれば完璧なのですが､ そうではないでしょう｡
‫これで､ 混同行列ができました｡
‫そこそこありますね｡
‫それを上司と共有することができました｡
‫それを上司と共有することができた｡
‫そこにROCカーブが｡
‫次はどうする？
‫分類の報告｡
‫なるほど｡
‫そして､ 可能な限りクロスバリデーションを用いていただければと思います｡
‫わかりました｡
‫だから､ 次のビデオで取り組むかもしれないことです｡