‫さて､ 分類モデルを評価する方法として精度を取り上げましたが､ なぜそのままにしておかないのかと思われるかもしれません｡
‫さて､ ここで他の評価指標を調べていくと､ なぜ正確さだけでなく､ もう少し異なる評価指標を導入することが重要なのかが分かってくるでしょう｡
‫私の場合､ 分類モデルの作り方を学んだ当初は､ 「とにかく精度が高ければいいんだろう？
‫そして､ さまざまな事例を見ているうちに､ 「なるほど､ こういう指標を使う価値もあるんだな」と少しずつわかってきますが､
‫この話はやめましょう｡
‫実際に見てみましょう｡
‫次に取り上げるのは､ 受信者動作下面積､ つまり受信者動作特性曲線の下での面積です｡
‫美しいのは､ AUC（曲線下面積）またはROC（受信者動作特性）として知られていることです｡
‫では､ このロックカーブをやってみましょう｡
‫この2つは､ 曲線下の面積やロックカーブ､ あるいはここに書いてあるように､
‫ロックカーブの美しさに注目することです｡
‫だから､ アイウエオクとかロックとかロックとか言っている人がいたら､ たぶんここの指標のことを言っているんだと思うんです｡
‫さて､ ロックカーブとは何を測定するものなのだろうか｡
‫さて､ 正式な定義では､ ロックカーブとは､ モデルの真陽性率､ aの比較です｡ k. TPRとモデルの誤検出率を比較したものです｡
‫書いておこう｡
‫ここでは､ モデルの真陽性率（TPR）とモデルの偽陽性率を比較しています｡
‫そうですね､ FPIとも呼ばれるものです｡
‫さて､ ここで気になるのは､ 「真陽性とは何か､ 偽陽性とは何か」ということでしょう｡
‫では､ ここで見てみましょう｡
‫真正イーグルスのモデルは､ 真実が1であるときに1を予測する｡
‫意味があるのか？
‫つまり､ この場合､ ターゲットが1か0であれば､ モデルが1を予測したときがトゥルーポジティブとなります｡
‫本当のラベルは1枚です｡
‫なるほど｡
‫ああ､ それなら納得だ｡
‫つまり､ ここでいう「偽陽性」とは､ 真実が0なのにモデルが1を予測することです｡
‫では､ なぜfalse positiveと呼ばれるのでしょうか？
‫まあ､ 一応予測はしているからね｡
‫だから
‫なるほど､ 本当はゼロなのに､ ポジティブ層は心臓病を持っている｡
‫つまり､ 心臓病の分類の問題で､ ある人が心臓病かもしれないという誤った認識を与えてしまうのです｡
‫そして､ ここで真のネガキャンをすると｡
‫彼は､ 真実がゼロであるとき､ モデルがゼロを予測するようになる｡
‫なるほど､ そういうことだったんですね｡
‫つまり､ そこでモデルが正しい予測をしていることになります｡
‫心臓病でない人がいるのに､ 心臓病でないと予測することです｡
‫それは素晴らしいことです｡
‫そして､ 偽陰性のイコールモデルが予測する｡
‫こちらはどうでしょうか？
‫偽り｡
‫否定的である｡
‫偽陽性に注目する｡
‫false negativeとは､ 真実が1であるにもかかわらず､ モデルが0と予測した場合である｡
‫つまり､ 実際には心臓病であるにもかかわらず､ 心臓病ではないと予測されるからです｡
‫そうですね｡
‫さて､ これらがわかったところで､ ロックカーブとはモデルの真陽性率の比較であることがわかります｡
‫TPR対誤字脱字だらけ｡
‫ここでダニエル｡
‫さあ
‫対して､ モデルの偽陽性率（fpr）｡
‫だから､ 今はこれがわかっている｡
‫サイキックローン､ メトリクスライブラリを使ってできるように､ 実際にやって見ましょう｡
‫ロックカーブを取り込みます｡
‫ロックカーブと言ったり､ カーブと言ったり､ それから確率で予測をするわけですが､ 確率で予測するにはどうしたらいいのでしょうか？
‫メイキング予測で見ました｡
‫y probs equals clf predict prober for probabilityで可能です｡
‫xのテストデータで予測をしてみる｡
‫今､ 私はそれを確認したいのです｡
‫念のため××テストデータ××テストを作成します｡
‫ET etcetera
‫そこで､ ここに行きたいと思います｡
‫X train, X test.
‫なぜトレーニングなのか？
‫なぜ test equals train test split x y test size equals 0. 2.
‫素晴らしい｡
‫ロックカーブとは､ モデルの真陽性率とモデルの偽陽性率の比較です｡
‫ポジティブなクラスだけを残していきたい｡
‫では実際に､ Yプロブレムがどのようなものか見てみましょう｡
‫なぜプロンプトなのか？
‫なぜうまくいかないのか？
‫これは何だ？
‫このランダムフォレスト分類は､ まだフィットしていないものをフィットと呼びます｡
‫ああ､ それなら納得です｡
‫だから､ 私たちは欲しいのです｡
‫分類器をフィットさせる｡
‫もちろん､ フィッティングせずに､ モデルもなく､ どんなパターンも学習せずに予測することはできません｡
‫だから､ ここに合わせるんです｡
‫そして､ いくつかの予測を立て､ これを見てもらう｡
‫最初の10個だけかもしれません｡
‫だから､ 場所をとらないんです｡
‫なるほど､ 美しい｡
‫そうして､ 私たちのロックカーブがあるからです｡
‫のみが､ モデルの真陽性率と偽陽性率の比較である｡
‫我々は､ モデルが正のクラスについて予測した確率だけが欲しいのです｡
‫ここで､ 私たちのモデルが0か1を予測しようとしていることを想像してみてください｡
‫これは､ ラベルが0である確率である｡
‫そして､ このラベルが1である確率は､ これらのサンプルのすべてについて､ 最後まで続きます｡
‫だから､ このテストセットにはいくつも入っていることになる｡
‫61個なので､ 61個になりそうです｡
‫つまり､ 本質的に欲しいのは､ Yプロブレム・ポジティブなのです｡
‫つまり､ これが正級である確率なのです｡
‫0がマイナスクラス､ 1がプラスクラスのYです｡
‫そこで､ ここではいくつかのスライスを使用しますが､ それができるように､ すべての行の1列目だけを使用します｡
‫ただ､ 何が起こっているのかがわかるように｡
‫ポジティブです｡
‫そして､ また最初の10個だけを見ます｡
‫では､ これは意味があるのでしょうか？
‫0を獲得している｡ 43.
‫そうですね｡
‫0. 77.
‫うん､ 0だね｡ 48.
‫などなど､ Y問題の全リストをご紹介します｡
‫そして､ pr､ tpr､ 閾値の計算ができるようになりました｡
‫だから､ 私たちはfpr it goes tpr thresholdsを行うのです｡
‫なぜ､ そんなことがわかるのか？
‫これはちょっと見てみましょう｡
‫なぜかFBRのコメントEPRのコンマ・スレッショルドになるのがわかる｡
‫ROCカーブもあるし､ yテストもyプロブレムも陽性で通す｡
‫さて､ この場合､ ロッククローブのリターンはどのように計算するのでしょうか？
‫まあ､ 私がすることは､ シフトタブを押すことで､ このように知ることができます｡
‫そこで､ ROCカーブを手に入れました｡
‫イがかかる｡
‫本当です｡
‫これがテスト用ラベルです｡
‫Yスコアが必要です｡
‫ということで､ 私たちのYプロブレム・ポジティブです｡
‫そして､ ここに降りてきて､ 受信機動作特性岩を計算します｡
‫うん｡
‫美しい｡
‫現在のパラメータ
‫なぜ？
‫本当です｡
‫なぜ？
‫スコア
‫ターゲットスコアは､ ポジティブクラスの信頼値の確率推定値でも､ 判断の非しきい値尺度でもよい｡
‫ということで､ ポジティブクラスの確率推定値です｡
‫そこからこの一切れを手に入れたのです｡
‫そうですね｡
‫そして､ ここに降りてくると､ 要素が閾値以上の予測の誤検出率になるように､
‫誤検出率を増加させた場合のリターンが表示されます｡
‫TPR 真陽性率と閾値ということですね｡
‫つまり､ 関数が何を返すかは､ こうして把握することができるのです｡
‫そしてまた､ これはJupyter Notebookでdocstringを表示しただけのことです｡
‫これについては､ いつでもドキュメントを見ることができます｡
‫その場合は､ 「サイキックラーンのロックカーブの計算方法」などを調べるとよいでしょう｡
‫では､ 次に偽陽性をチェックするわけですね｡
‫美しく見える｡
‫だから､ 大きな配列ができるんですね｡
‫しかし､ これらを単体で見てもあまり意味がないんです｡
‫視覚的に見ることができるのは､ とてもわかりやすいですね｡
‫Cycloneにはロックカーブをプロットする機能が組み込まれていないので､ どうしたらいいかというと､
‫よくあることですが､ それをやってくれる関数を探すか､ 自分で書くしかないでしょう｡
‫ということで､ 次の動画ではその様子をご覧いただきます｡
‫ロックカーブを描くと､ このロックカーブという関数が､ 単なる数値の配列ではなく､ もう少し意味を持ち始めるでしょう｡