‫お帰りなさい｡
‫では､ 3つ目のサイクロンモデルの評価方法について見てみよう｡
‫また､ ドキュメントに戻ると､ それはメトリック関数､ 特にスケールとメトリックに通じています｡
‫また､ 分類の指標として､ 精度を示すスコアがあります｡
‫精度が上がったか？
‫実は以前にもいくつか見たことがあるのですが､ これは分類報告書の混乱マトリックスです｡
‫ほら､ 精度スコアと再現スコアだ｡
‫そして､ リグレッションメトリクスについても､ また同じです｡
‫こちらにもありますよ｡
‫平均絶対誤差､ 平均二乗誤差｡
‫前回の動画で課題を出しました｡
‫あ､ R2スコアがありますね｡
‫こんにちは｡
‫これまで取り組んできた問題で､ いくつか試してみることがありました｡
‫なぜなら､ 自分で練習を始めるには､ ドキュメントを調べ､ コードを書き､ いくつかエラーを出し､
‫それをどう修正するかを確認しながら進めていくのが一番だからです｡
‫では､ 異なる評価指標をサイキックローン関数として使って､ ちょっと見出しを書いてみましょう､
‫ここに行きます｡
‫サイクロン機械学習モデルの評価方法の3つ目は､ 推定項を使うので推定をスラッシュすることである｡
‫用語モデルは､ cycloneのドットマトリクスモジュールを使って､ そこにドキュメントをリンクして､ それをマークダウンにするのがいいと思います｡
‫美しい｡
‫さっそくコードを書いてみましょう｡
‫まずは分類の問題から｡
‫サイクロンマトリックスから､ インポート精度のスコアを入れます｡
‫正確さ､ 精度のスコア､ そして想起のスコア､ これで十分でしょう｡
‫あ､ Fのほうもどうでしょう？
‫なぜダメなのか？
‫そこで少し完成度を高めてから､ モデルを作ることにしています｡
‫Cyclone Ensembleから､ ランダムフォレスト分類器をインポートして､ あとは何を取得すればいいのでしょうか？
‫まあ､ 分裂するように訓練された方がいいかもしれない｡
‫なぜ､ そうしないのか？
‫SRCから モデル選択を学ぶ｡
‫もう一度､ 全体のワークフローを確認します｡
‫選択､ インポート､ トレーニング､ テスト､ スプリット｡
‫それで､ これに挑戦してほしいんです｡
‫XとYを作成します｡
‫そして､ データを分割し､ モデルYを作成し､ モデルを適合させ､ 評価関数を使ってモデルを評価する､ ということをやってほしいです｡
‫今ここにインポートしたものは､ 予測可能なものなので､ これらが何であるかを理解したい場合は､ これらのdocstringをチェックしてみてください｡
‫以上､ accuracy､ precision､ recall､ F oneを取り上げたが､ これらは主要な分類指標に過ぎない｡
‫もちろんここにも､ 分類のためにいくつかあります｡
‫これ以上見たい方は､ ドキュメントに飛び込んでください｡
‫よく目にするものをいくつか紹介します｡
‫回帰から同じ｡
‫今回紹介した以外にも､ かなりの数があります｡
‫もっと詳しく読みたい方は､ こちらのドキュメントをご覧ください｡
‫今すぐ
‫それを埋めるために､ 一発勝負をさせる｡
‫とりあえず､ 回帰についてもスケールメトリクスのインポートRから決定係数であるスコアにする準備をするのはどうでしょうか｡
‫主な絶対誤差
‫モデルの予測が実際の値とどれだけ違うかを示す主な値 平均二乗誤差 モデルの予測の二乗値､
‫または実際のラベルと比較したモデルの予測値の誤差｡
‫そして､ スカイロンを手に入れるのです｡
‫ensembleモジュールを取得し､ 忠実なランダムフォレスト回帰をインポートします｡
‫そして､ 私たちもまた､ 上記と同じものを手に入れることができるのです｡
‫すでに輸入されているので､ 必ず書かなくてもいい｡
‫しかし､ それぞれのコードが独立したものであるように､ ここにこれをコピーしておきます｡
‫まったく同じようなレイアウトになるんですよ｡
‫サイキックローンライブラリーの良さは､ どのような問題に取り組むかによって､ ワークフローの多くが似通っていることです｡
‫ここでビデオを一時停止して､ この2つを埋めてみてください｡
‫そうでなければ､ 3秒くらいで3対1で続行します｡
‫試しにやってみたけど､ 今度は一緒にやってみようか｡
‫ね､ だから､ XとYを作る必要があるんです｡
‫スタートすることがあります｡
‫実はここがひとつ､ 惜しいところだったんです｡
‫ランダムシードで､ xは心臓病に等しいとする｡
‫今まで何度かやっていますが､ ターゲットを第1軸に落とし､ Yをターゲット値の心疾患ターゲット分割データと同じにします｡
‫だから､ 心してオフができれば×訓練×テストが先になる｡
‫私はこの順番を覚えるのに時間がかかりましたが､ xの値が最初にtrain test､ 次にyの値がtrain testと覚えればいいのです｡
‫トレインテストの分割｡
‫xとyを分割するのです｡
‫これは､ 以前見たクロスバリデーションではなく､ 1つのスプリットに対してのみ行われることを覚えておいてください｡
‫エンドスプリットやKスプリットに分割するというのは､ よく使われる言葉ですね｡
‫Kは3であるかもしれない Kは2であるかもしれない Kは10であるかもしれない Kは5であるかもしれない
‫ランダムフォレスト分類器を通過させる｡
‫デフォルトのパラメーターのままにしておきます｡
‫学習データにモデルを当てはめてみる｡
‫自己はx列車y列車の特徴やラベルに収まらない｡
‫では､ 評価関数を用いてモデルを評価してみましょう｡
‫ただ､ もう一つ見落としがあるかもしれないので､ もしかしたら意図的にテストセットでこの分類行列をやったのかもしれませんが､
‫これらの関数を具体的にどう使うかということです｡
‫今､ 私たちが見た精度は､ 以前にも見たことがあるかもしれませんが､ それはそれでいいんです｡
‫まだの方は､ これから取材していきます｡
‫私たちは､ これからお見せするものと同じようなステップを何度も踏んできました｡
‫Yのテスト値が出てきました｡
‫しかし､ 正確なスコアのドキュメントを調べてみると､ 何が出てくるのでしょうか｡
‫精度､ 分類スコア｡
‫この場合､ テストラベルであるY個の真の値と､ モデルの予測値であるY個の予測値を比較する必要があります｡
‫だから､ ここにself predict X testと入れてもいいのですが､ self predictをずっと書き換えるよりは｡
‫そこで､ 100倍した値を小数点以下2桁にフォーマットし､ 後ろに小さなパーセント記号を付けて､
‫この結果がどうなるか見てみましょう｡
‫X Yesは定義していない｡
‫それは×テストとして必要なのか？
‫これでよしとしよう｡
‫なるほど｡
‫しかし､ 何か予測を立てて､ それをそのまま再利用するのはどうでしょうか｡
‫だから､ 自分たちが欲しいものを予測する｡
‫s xテストで予測し､ Yスプレッドはそれに等しくなるようにする｡
‫つまり､ この行をそのままコピーすれば､ yスプレッドは同じ値になるはずです｡ なぜなら､ 変数に入れる以外は同じことだからです｡
‫そうだ､ そうだ｡
‫だから､ 少しはマシになった｡
‫そして､ これを処分し､ あれを削除するのです｡
‫そして､ これをコピーして､ precision recall f 1を求めるのはどうでしょうか｡
‫ここでいう指標とは､ どのようなものでしょうか｡
‫精密再生Fの1つは､ もう一度言いますが､ 分類の測定基準がたくさんあるので､ 必要であればもう少し使うことができます｡
‫しかし､ これらは最も一般的なものであり､ 最も重要なものでもあるのです｡
‫これを精密に変えていくのです｡
‫これをリコールに変え､ これをFワンに変えていきます｡
‫そこで､ もう一度､ 同じことをやってみましょう｡
‫精度､ 精度派､ 想起スコア､ f oneスコア｡
‫あとは､ パーセンテージで表示する必要もないでしょう｡
‫それでいい｡
‫パーセンテージでよく見かけるのがAccuracyです｡
‫ああ､ ここで何を失敗したんだろう？
‫ああ､ docstringやformatted stringの終わりを見逃した｡
‫それを拾ってくれたのでしょうか？
‫これでよしとしよう｡
‫美しい｡
‫小数点以下まで切り詰めても大丈夫なんです｡
‫そうそう､ そうなんです｡
‫ここまでで､ 評価指標をセカンドライン機能として利用する3つ目の方法について見てきました｡
‫今度は分類用です｡
‫ビデオを一時停止するか､ もう一度ビデオを一時停止させて､ 分類のために行ったことを再現できるかどうか見てみましょう｡
‫ここで､ モデルを使った予測をする､ という余分なステップを加える必要があります｡ なぜなら､
‫モデルの評価とは何か？
‫モデルの評価は､ モデルの予測値とグランドトゥルースデータの内容を比較することが非常に重要です｡
‫モデルの訓練と同じくらい重要なのが､ そのモデルの評価です｡
‫だから､ それを試してみてください｡
‫そうでなければ､ 続けて3対1で一緒に書きます｡
‫お帰りなさい｡
‫ここで､ いくつかの評価関数を使って回帰モデルを評価することを試してみてほしい｡
‫そして､ これらはすべてmetricsモジュール､ regression metricsモジュール､ cycloneのドキュメントから取得しました｡
‫そして､ なぜダニエルはこれほどまでにドキュメントを参照するのか､ 不思議に思われるかもしれません｡
‫まあ､ それはあなたがそれをたくさんすることになるからで､ 実際､ 私もそれをたくさんしています｡
‫そこで､ 私が機械学習エンジニアやデータサイエンティストとして日々使っている習慣を伝授しようと思っているんです｡
‫ここでXとYを作りますが､ ドキュメントを参照することは､ 最も重要な習慣の一つです｡
‫もちろん検索はできますが､ 結局はドキュメントを読むか､ 検索してドキュメントを読み､ 検索してドキュメントを読み､
‫コードを書き､ 間違っては直し､ 間違っては直しを何度も何度も繰り返すことになるだけです｡
‫実験､ 実験､ 実験｡
‫そこで､ 分割データを作成します｡
‫以前にも見たことがあります｡
‫モデルをインスタンス化するために､ What?
‫回帰の問題に取り組んでいるからです｡
‫ランダムフォレストのアグレッサーとして設定することにします｡
‫デフォルトのパラメーターのままにしておきます｡ 学習データモデルにモデルを当てはめるのですが､ X train,
‫y trainを当てはめません｡
‫そして今､ 私たちは予測を立てることができます｡
‫それが､ ここで追加しなければならない余分なステップでした｡ それは､ Xテストでモデル予測するだけなのです｡
‫これをYスプレッドという変数に設定します､ 名前を変えてもいいですね｡
‫だから､ ここまでのものとは違うんだけど､ まあいいや｡
‫そして､ テストセットで回帰行列を使って評価し､ Fを出力できるようにします｡ まず､ R 2スコアを取得しましょう｡
‫だから､ Rに得点してもらいたいのです｡
‫それをRでフォーマットして､ y test y predでスコアにして､ あ､ この文字列の終わりはないんだ､ としたいのです｡
‫プリントが欲しい｡
‫他に何か意味があったのでしょうか｡
‫絶対的なエラーです｡
‫だから､ マは意地悪なんです｡
‫絶対的なもの｡
‫あるのでしょうか？
‫はい､ オートコンプリートyプレッドを搭載しています｡
‫そして､ 最後にプリントする......どんなぐちゃぐちゃになるのか｡
‫メッシーは平均二乗時代｡
‫Why test why predで､ そこで終わりです｡
‫いやはや｡
‫何がいけなかったのか？
‫行列の平均二乗誤差をなんとなく覚えただけなんです｡
‫誤字がありました｡
‫以前は聞き取れましたか？
‫平均二乗誤差｡
‫それを実行するのです｡
‫収まるんです｡
‫我々の住宅データセットは2万行あるので､ モデルは分類より少し時間がかかるかもしれません｡
‫ああ､ 何を勘違いしているんだろう？
‫Y predは定義されていない｡
‫ああ､ プレッズが必要なんだ｡
‫これでよしとしよう｡
‫また誤字を見つけたかもしれない｡
‫そこでモデルを再トレーニングすればいいのです｡
‫再評価する｡
‫ここで改めて､ クロスバル評価と回帰指標や分類指標の違いは何でしょうか｡
‫これらの指標は､ 1回の訓練テスト分割で得られたものです｡ 一方､ ここに挙げた指標は､ クロスバリデーションを用いて､ 複数の訓練テスト分割で得られたものです｡
‫これらの指標は､ 複数のモデルを訓練して評価する必要があるため､ 見つけるのに時間がかかります｡
‫しかし､ これらは一般的に､ Jupyterノートブック外で未知のデータに対してモデルがどのように動作するかを示すものであり､
‫1つのスプリットで行うよりも良い指標となります｡
‫だから､ その点だけは注意してください｡
‫美しい｡
‫テストセットでいくつかのリグレッションメトリクスがあるので､ それをカバーしました｡ 時間がかかりましたが､ モデルを評価することはとても重要なので､
‫このセクションに多くの時間を費やしたかったのです｡
‫そのため､ 詳しく読みたい方は､ ドキュメントを参照してください｡
‫これまで､ 推定スコア法､ スコアリング・パラメータ､ そしてメトリック関数を取り上げてきました｡
‫この他にもいろいろありますが､ この3つの核心を見ていただきました｡
‫では次に､ 何を取材しているのかを考えてみましょう｡
‫リストを見てもらう｡
‫これまでどんな経験をしてきたのか｡
‫ゼロから始める､ エンド・トゥ・エンドのワークフロー｡
‫データを準備する
‫我々の問題に適した推定量スラッシュアルゴリズムを選択する｡
‫モデルに合わせる｡
‫モデルの評価､ そして5番目は､ モデルの改良です｡
‫これは､ とても､ とても楽しみです｡
‫さて､ ここまでで「Psych Learn」のセクションで多くのことをカバーしましたが､ まだ少し残っています｡
‫では､ 次のセクションでお会いしましょう｡
‫これらの指標を把握しよう｡
‫どうすれば､ より良いものになるのか？
‫これまでのビデオで､ このことについて触れてきましたが､ いよいよ本題に入りましょう｡
‫では､ 次のセクションでお会いしましょう｡