‫前回のビデオでは､ 精度､ 再現率､ F1スコアは､ 訓練とテストの分割で計算されるので､
‫1つでしか計算されないと言い残しましたが､ 可能であればクロスバリデーションを使用したいものです｡
‫というわけで､ そういうことになります｡
‫少し見出しをつけましょう｡
‫私たちは行きます｡
‫クロスバリデーションを用いて評価指標を算出する｡
‫さて､ ここからが本番です｡
‫クロスバリデーションを用いて､ モデルの精度・再現性・f1スコアを算出する｡
‫そのためには､ 私を利用することになります｡
‫これをコードクロスボーンスコアに入れる｡
‫これはソケットラーニングのコーナーで紹介した､ クロスボーン・スコアですね｡
‫そして､ いつもそうしているように､ ここで調べると､ クロスボーン・スコアとなります｡
‫なんて書いてあるんだ？
‫つまり､ 推定値を取り､ Xを取り､ Yを取り､ クロスバリデーションでスコアを評価する｡
‫ここで注目したいのが「得点」です｡
‫ですから､ 文字列のスコアに行く場合は､ 文字列を呼び出すか､ シグネチャを持つ呼び出し可能なオブジェクト関数をスコア化し､
‫単一の値のみを返すようにします｡
‫さて､ このパラメータを使用して､ 異なる測定基準でクロス検証を行い､ モデルを評価することにします｡
‫そこで､ 得点の文字列を変更することにします｡
‫それでは､ 最適なタイプのパラメータで新しいロジスティック回帰モデルのインスタンスをセットアップして見ましょう｡
‫私たちの得意なタイプのパラメーターは何だったのでしょうか？
‫最適なモデルを設定し､ クロスバリデーションで評価したいので､ 最適なハイパーパラメータをチェックしましょう｡
‫Jess Log rig dot best params.
‫素晴らしい｡
‫それでは､ 分類器を作成しましょう｡ ここで､ 見つかった最適なパラメータを使って新しい分類器を作成します｡
‫つまり､ CLFはロジスティックに等しいのです｡
‫リグレッションはイコールを参照してください｡
‫それをそのままここにコピーするんですか？
‫素晴らしい｡
‫おっとっと｡
‫ゼロを忘れました｡
‫そこそこ長い数字ですね｡
‫そして､ ソルバー､ 電話する｡
‫さて､ 繰り返しになりますが､ これらのパラメーターは､ あなた自身がハイパーターチューニングを行い､ より良いものを見つけた場合､ 異なるものになるかもしれません｡
‫でも､ 今はこれでいいんです｡
‫素晴らしい｡
‫これで､ 最適な高パラメータを持つモデルがインスタンス化されたわけだ｡
‫スコアリング・パラメータと一緒にクロスボーン・スコアーを使って､ クロス検証されたメトリクスを取得してみましょう｡
‫それでどうするかというと､ 実は忘れてしまったんです｡
‫こちらへどうぞ｡
‫計算するんです｡
‫はい､ どうぞ｡
‫だから､ 正確さを求めます｡
‫こちらへどうぞ｡
‫クロスバリデーションで精度を確認｡
‫そこで､ 4つのセルを使って､ ここにクロス検証の精度を表示することにします｡
‫クロスバリデーションのリコール｡
‫そして､ 検証を重ねる｡
‫一人なら｡
‫スコット・ワンダフル
‫では､ そうしましょう｡
‫そこで､ Cross-Validation Accuracyの略で､ CVACとします｡
‫クロスボーン・スコアに等しいので､ ここでインスタンス化したクラシファイアに渡します｡
‫クロスボーン・スコアとYのデータを使っているので､
‫CVを5に設定し､ スコアリングを正確さに設定します｡
‫美しい｡
‫それから､ CBアークがどのようなものか確認し､ これのメインを取ることができます｡ 覚えていますか､ それは何をしたのか？
‫5つの分割でモデルを評価しています｡
‫だから､ その平均値をとれば
‫そうですね｡
‫この5種類の分割の平均精度を求めることになります｡
‫では､ そうしましょう｡
‫そこで､ MP dot main save aとします｡
‫素晴らしい｡
‫だから､ そこそこの精度がある｡
‫だから､ それを保存しておくかもしれません｡
‫実は､ 私たちの値を上書きして､ 保存することもできます｡
‫美しい｡
‫そして今度は､ この他のものにも同じことをやってみましょう｡
‫ここに行こう｡
‫ここにあるコードをコピーすればいいんです｡
‫繰り返しになりますが､ コードをコピーする癖をつけないようにしましょう｡
‫本当はこのように機能させるべきなのでしょうが､ 私たちはこのまま転がり続けていくしかないのです｡
‫今やっていること､ 関数というのはつまり､ ずっと比較的似たような計算をしているので､
‫これを関数にして､ 精度を上書きして､ 精度がMP平均と等しくなるようにすればいいのです｡
‫そして､ もう一度見てください｡
‫素晴らしい｡
‫そして､ リコール以外はこちらでも同じことができる｡
‫コマンドを押したときに､ ここにスペースを入れるのはちょっと難しいかもしれませんね｡
‫ここに小さな呪いをかけることができます｡
‫だから､ これを全部リコールに変えればいいんです｡
‫ハッ!
‫幸せな日々｡
‫あれを見てください｡
‫ゴー・リコールで5つの呪いを受けた｡
‫素晴らしい｡
‫おお､ これはいいリコールの点数だ｡
‫クロスバリデーションも実施｡
‫EF1でも同じことをするかもしれません｡
‫ここに行って､ この不良少年を全部f oneに変えるんだ｡
‫これでよしとしよう｡
‫ここにちょっとしたスパイスを入れることで､ コードがポリフォニックに見えるかもしれませんね｡
‫素晴らしい｡
‫わかりました｡
‫そして､ 上司が要求しているクロスバリデーションやクロスバリデーションの指標をすべて手に入れることができたのです｡
‫他の貴重なスタッフと同じように､ Jupyterノートブックで机を囲むだけというのは､
‫あまり良いことではありません｡
‫プレゼンテーションに最適な分類マトリックスがあります｡
‫これは､ 誰かが見て､ 「ああ､ この価値はかなり高いな」と思えるようなものなんです｡
‫ここで何が起こっているのかがわかる｡
‫私たちもそうしましょう｡
‫むしろ､ ばらまいたほうがいい｡
‫グラフのようなもの､ ビジュアライゼーションに落とし込んでみましょう｡
‫そこで､ クロスバリデーションの指標を可視化することにしました｡
‫そこで､ MatrixをデータフレームとしてSaveを作成することにします｡
‫つまり､ そうですね､ 本当は最初からこれを機能化するべきだったのでしょうが､ その通りです｡
‫を貫くしかないこともある｡
‫昔ながらの方法で､ どこが悪かったのかを自覚し､ どう改善すればいいのかを考える｡
‫少し伸びたかもしれませんね｡
‫自分で試してみて､ どのように機能するかを確認することができます｡
‫ここでやっていることの中には､ XとYを異なる測定基準で相互検証し､ それを一挙に素敵なプレゼンテーションにまとめるというものもあります｡
‫それは良い練習になると思います｡
‫リコールを保存する｡
‫そして､ F1がCVのF1になるんです｡
‫素晴らしい｡
‫インデックスを0にする必要があります｡
‫ビュー､ ああ､ それならプロットを作って､ マトリックスを保存すればいいんだ｡
‫さて､ 私は以前にもこのようなことをしたことがあります｡
‫ネタバレになるので､ 転記が必要なのは承知しています｡
‫バータイトルは､ クロス検証済み分類マトリックスに相当します｡
‫そして､ 我々は伝説の新しい我々が偽らないことを望むか｡
‫その様子をご覧ください｡
‫美しい｡
‫ここに小さなセミコロンを付けます｡
‫これでよしとしよう｡
‫だから､ ここに数字を書き足せば､ みんなに正確な数字がわかるかもしれない｡
‫しかし､ 私たちのモデルは､ リコールについてはかなりうまくいっていると見ています｡
‫さらに､ ランダムフォレストモデルやK最近傍分類器など､ 実験段階で試した分類モデルによるクロスバリデーションの結果も加えることができるでしょう｡
‫この実験段階は､ あくまでも反復プロセスであることを忘れないでくださいね｡
‫ここを何度も行ったり来たりしているだけです｡
‫ここにそれを加えて､ どのモデルが一番パフォーマンスが高いかを見ることができるわけです｡
‫でも､ 今はロジスティック回帰にこだわっていて､ これは共有できそうなものですね｡
‫では､ 今残っているのは何でしょう？
‫さて､ もう一度スクロールして､ チェックを入れたものを書き出すところまで戻ってみましょう｡
‫すべてチェックしたのだろうか？
‫上司に頼まれたこと､ 以前はどうしたらいいかわからなかったこと｡
‫しかし､ 今､ 私たちはその姿を目の当たりにしています｡
‫おっと
‫わかりました｡
‫だから､ 私たちは
‫クロスバリデーション Precision Recall yep.
‫分類報告書 tic rc 曲線 tic 曲線下面積 混同行列｡
‫うん｡
‫ここで見落としているのは､ 機能の重要性です｡
‫ふむ｡
‫では､ 次のビデオでフィーチャリング重要性をどのように行うか見てみましょう｡