‫なるほど｡
‫お帰りなさい｡
‫それでは､ 回帰モデルの評価指標について説明します｡
‫そこで､ ここに新しい見出しを作ります｡
‫4. 2. 2 回帰モデルの評価指標
‫そしてもう一度､ モデルの評価指標やドキュメントを調べて､ そこに何が書かれているのかを確認することができます｡
‫ここまでくれば､ モデル評価もあるわけです｡
‫ここでは､ さまざまな評価指標を用意しています｡
‫回帰､ 対数損失､ バイナリケース回帰の指標を明示的に示しているのでしょうか？
‫さあ､ どうぞ｡
‫美しい｡
‫の課外授業なんですね｡
‫このビデオはリグレッションメトリクスを読み解くためのものです｡
‫この最大誤差と絶対誤差をご覧ください｡
‫これらはすべて､ 使用できるさまざまなタイプの回帰指標です｡
‫ここでは､ 平均絶対誤差など､ 主なものを中心に紹介します｡
‫よく目にするのは､ 主二乗誤差が主二乗対数誤差であることです｡
‫なるほど｡
‫そうですね｡
‫だから､ 選択肢はかなりあるんです｡
‫スコアは2つです｡
‫これは以前､ スコアメソッドで見たようにデフォルトです｡
‫ですから､ これらすべての解説をご覧になりたい方は､ ドキュメントをご覧ください｡
‫機械学習モデルを評価することは､ 学習して予測を行うことと同じくらい重要だからです｡
‫でも､ 手を動かしてみよう｡
‫これをコピーして､ 見出しはここをクリックして､ それをコピーして､ そこに入れます｡
‫そして､ これをマークダウンに変えてみましょう｡
‫今､ 私たちはどこにいるのでしょう？
‫これでよしとしよう｡
‫これから取り上げるのは､ 1番が二乗にできるものです｡
‫さて､ これはthat's a symbol for itですが､ 以前から聞いていたように発音します｡
‫発音する｡
‫スペルは合ってるかな？
‫そんなことはどうでもいいんです｡
‫私が何を綴ろうとしてるかわかるか？
‫R2乗または決定係数と発音される｡
‫その1/1係数に注目する｡
‫そこにはスペルミスがあるかもしれませんが､ 今のところスペルミスにこだわっているわけではありません｡
‫コードミスがあれば､ そのスペルミスを修正する｡
‫好きなようにそれらを修正して､ 平均二乗誤差｡
‫それらに集中する｡
‫でも､ もしよかったら､ このドキュメントを読んで､ 別のもので練習してください､ というのがあなたの延長線上にあるのです｡
‫サイキックローンの良さは､ どれも似たようなインターフェイスを使っていることです｡
‫そして､ 評価の肝は何でしょうか？
‫モデルの予測と､ それが予測すべきことを比較するのです｡
‫では､ 評価モデルや回帰モデルを街に戻し､ それらで予測をしてみましょう｡
‫Scalar Ensembleから､ 何度かやっていますが､ ランダムフォレスト回帰を取得します｡ ランダムシードを設定し､
‫データセットを設定します｡ xはハウジングに等しいです｡
‫DF Housing DFのドットドロップは､ 特徴量Xを使ってターゲットであるY Housing
‫DFを予測したいので､ ターゲットを削除します｡
‫トレインテスト用のスプリットを作成します｡
‫これは以前に書いたコードに過ぎない｡
‫ですから､ 以前に書いたコードがあれば､ それをコピーして貼り付けるとよいでしょう｡
‫しかし､ 特にこれが初めてのことが多い場合は､ 少し練習しておくとよいでしょう｡
‫データをトレーニングセットとテストセットyに分割し､ トレーニングデータでモデルを学習させ､ テストデータでモデルが見たことのないデータを評価することができるようにします｡
‫そこで､ ランダムフォレスト・アグレッサーというモデルを設定することにします｡
‫また､ アンサンブルアルゴリズムの性質上､ 推定量を設定することになります｡
‫ランダムフォレストのミニモデルの数､ ランダムフォレストの決定木の数は､ デフォルトの100にしました｡
‫Ask, Learnには､ 内蔵された機械学習モデルやアルゴリズムの多くに､ 優れたデフォルト設定があることを忘れないでください｡
‫広く使われているだけに､ デフォルトのパラメーターの多くは､ 最初からかなり良い結果を得ることができるでしょう｡
‫もし､ そうでなければ､ いつでも手を加えることができます｡
‫だから､ 走ろう｡
‫これはあまり時間がかからないはずで､ その後､ モデル・スコアに行くことになります｡
‫テストデータセットで採点してみる｡
‫さて､ 私たちは以前にも全く同じコードを書いたことがあります｡
‫回帰アルゴリズムなので決定係数､ そして評価指標をここで得ることができます｡
‫ここにあるのは､ 全部です｡
‫調べてみました｡
‫なんだ､ もっと読みたければ読めばいいじゃないか｡
‫しかし､ それは従属変数の変動のうち､ 独立変数から予測できる割合のことです｡
‫さて､ 今回の住宅データセットにおける目的変数は､ 特徴変数によってどれだけ予測できるでしょうか｡
‫従属変数？
‫独立変数によって､ このことをどれだけ予測できるでしょうか？
‫今度はスコアで､ 最高値は1です｡ 0.
‫確か､ 最低値は0と言ったかもしれません｡ 0.
‫これで精度が上がった｡
‫R2スコアは実際にマイナスにすることもできますし､ 確かマイナス無限大くらいにすることも可能です｡
‫しかし､ 平均値だけを予測した場合､ つまりY検定のラベルが全部ある場合､ そのY検定を見てみようという話もしました｡
‫そして､ yテストの平均値を見ると｡
‫ですから､ もし私たちのモデルが予測したのが2であったとしたら 055､ エトセトラ､ エトセトラ､ これらの値すべてに対して､
‫R twoのスコアは0となる｡ 0で､ Yテストを完璧に予測した場合は､ 1というスコアになります｡
‫0､ 最高｡
‫ですから､ その場合の精度と非常に似ていて､ 予測が非常に悪いモデルは､ 精度と分類が0％になるのです｡
‫すべてが正しく予測された場合､ スコアは1となります｡ 0 100%の精度｡
‫しかし､ いつものように､ もし完璧な評価指標を得ることがあれば､ 常に懐疑的になってください｡
‫しかし､ これを実際に見てみましょう｡
‫声を大にして言ってきました｡
‫スカラーやマトリックスのインポートR2スコアからそう動作しているのが見えないのはなぜでしょうか？
‫これは､ サイキック学習を使ってモデルを評価するもう一つの方法です｡
‫このページの一番上にスクロールして戻ると､ 一番上に出てきます｡
‫それが､ メートル法による関数です｡
‫つまり､ サイキックローンにおける各指標は､ それぞれ固有の機能回帰の指標を持っているのです｡
‫これでよしとしよう｡
‫そこで得点するのがRです｡
‫これは私たちが使っているものなので､ それを取り込めばいいのです｡
‫そして今度は､ y test mean で配列を埋めてみましょう｡ これは､ スコアがゼロと
‫P の2つであることを示すだけでなく､ y test mean という値で､ 長さ y test の完全な配列を作成することを意味します｡
‫NumPy は長さ y test の完全な配列を作成するので､ テストデータセット 4128 にあるのと全く同じ数の値がそれぞれ存在することになります｡
‫つまり､ 各サンプルは検定平均の値を持つことになる｡
‫そして､ これをどのように確認するかです｡
‫では､ それを確認した上で､ Yテスト平均値を出してみましょう｡
‫では､ 最初の10個を見てみましょう｡
‫すべてどのような価値観であるべきなのか？
‫すべてこの値であるべきだ｡
‫だから､ それを確かめよう｡
‫これでよしとしよう｡
‫なるほど､ 美しい｡
‫さて､ ARを使ったスコアリング機能はどうだろうか｡
‫さて､ あなたが確信していなかった場合､ どのようにスコアシフトのタブのdocstringに調べることができました｡
‫ええ､ その通りです｡
‫あれを見てください｡
‫だから､ yプレッドを介してyを得点するためにrがある｡
‫では､ この場合のY真値とは何でしょうか？
‫もし､ このモデルが平均値を予測するだけなら､ R2スコアはゼロになるはずだと言いました｡
‫これが y pred で､ y true は y test と同じになり､ y pred は y test mean
‫と同じになります｡
‫これを見よう｡
‫もし､ 私たちのモデルが平均値だけを予測した場合､ R2が0､ 決定係数が0になると言いました｡
‫これでよしとしよう｡
‫ということは､ かなりクールなんですね｡
‫つまり､ モデルのパフォーマンスがかなり悪いと､ 別のto scoreが0になるか､ マイナスになる可能性があるわけです｡
‫しかし､ モデルがモデルなら､ テストデータで使える最もシンプルなモデルは何でしょう？
‫あるいは､ 私たちのトレーニングデータ上でも同様です｡
‫最も単純なモデルは､ ターゲットを他のすべてのターゲットの平均値として予測するだけです｡
‫ということは､ かなりシンプルな機械学習モデルですよね？
‫しかし､ ランダムフォレストの威力は､ Rをスコア0にするモデルを実現できていることです｡ 8を0に近づける｡
‫81.
‫完璧なモデルであれば､ 1. 0.
‫その対数でy trueイコールy testのスコアを出して､ y predも同じになるようにしましょう｡
‫もし我々のモデルがテストデータを完璧に予測したのであれば､ HA to Scoreは1になります｡ 0.
‫このように､ 回帰アルゴリズムが特徴量から目標値を予測する際に､ どの程度うまくいっているかをテストすることができます｡
‫では､ もう一つの指標である「平均絶対誤差」を使ってみましょう｡
‫そこで､ これをあなたに投げかけたいと思います｡
‫次の動画の前の課題です｡
‫実は､ この両方が試せるんです｡
‫そこで､ この平均絶対誤差と平均二乗誤差の両方を試してみてください｡
‫セットアップは､ 先程とほぼ同じになります｡
‫モデルで何か予測を立てて､ それを何かと比較することになります｡
‫だから､ それを試してみてください｡
‫ドキュメントが欲しいなら､ ここにありますよ｡
‫平均二乗誤差､ 平均絶対誤差｡
‫そして､ 次のビデオでお会いしましょう｡
‫一緒にやりましょう｡