‫お帰りなさい｡
‫前回のビデオでは､ 平均絶対誤差を確認し､ 実際の値と予測値の平均差または絶対差を計算することを確認しました｡
‫そして､ 平均二乗誤差についても同じようにやってもらうという課題を残して､ 帰りました｡
‫では､ その様子をご覧ください｡
‫平均二乗誤差 MSA.
‫さて､ 皆さんはすでに調べて課題に取り組んだかもしれませんが､
‫主二乗誤差とは､ 実際の値と予測値の誤差の二乗を主成分とするものです｡
‫さて､ この正方形にはどんな効果があるのか､ 考えてみてください｡
‫ですから､ ここで差分を取って､ これらの値を二乗すれば､ 当然ながらすべてプラスになります｡
‫しかし､ かなり高い値になるとどうだろうか｡
‫例えば､ これがWe have a error of 4という値だったとしましょう｡
‫これが16歳｡
‫それはどうでしょう？
‫二乗になるからです｡
‫ここで､ 差分を2乗していたらどうなるのでしょうか？
‫巨大化するんでしょう？
‫だから､ 主二乗誤差については､ その点だけ注意してください｡
‫差を二乗すると､ より大きな値を増幅することになるのです｡
‫一方､ 主絶対誤差は､ すべてを同じ尺度に保ちます｡
‫2乗はもちろん､ 誤差の2乗です｡
‫では､ 実際に見て言ってみましょう｡
‫平方根からの平均二乗誤差
‫学習型メトリックス｡
‫平均二乗誤差の輸入｡
‫そして､ レッツゴー｡
‫なぜ？
‫フレッドのイコールモデル｡
‫予測する｡
‫こんなことする必要はないんです｡
‫これらはすでにインスタンス化されていますが､ いずれにせよ､ これを実行します｡
‫予測値とグランドトゥルース値を比較してモデルを評価するものなので､ MSIは平均二乗誤差に等しい｡
‫なぜテストなのか､ なぜプレッズなのか､ これを比較していきます｡
‫ここで三井住友海上の出番だ｡
‫何を得るか？
‫0. 253.
‫なるほど､ メインの絶対誤差より少ないんですね｡
‫さて､ それはなぜでしょう？
‫では､ 2乗差の列を作りましょう｡
‫なぜ､ こんなことをするのか､ 考えてみてほしいのです｡
‫では､ どうすればいいのか｡
‫DFの二乗差になる差分を取る｡
‫その二乗した差分がnp二乗DF差分に等しくなるようにして､ dfドットヘッドを見てみよう｡
‫なるほど｡
‫そこで小さくなっているところを二乗しているわけですから｡
‫わかりました｡
‫なるほど｡
‫つまり､ MSAをあるスケールで表現したいのであれば､
‫誤差関数や評価関数に入れる値について考える必要があります｡
‫では､ 改めて手計算で計算してみましょう｡
‫だから
‫MSAを手の二乗イコールnp二乗defで計算すると､ その差分が出る｡
‫列の差の2乗は意味をなさない｡
‫それはどのようなものですか？
‫0. また253
‫ここで､ これらの値のスケールをすべて変更すると､ また違ったものになるかもしれません｡
‫そして､ いかに面倒くさいかを強調したいのです｡
‫その二乗部分が､ かなり高い値や差を増幅してしまうわけです｡
‫では､ これをwe'll give thisに変更するとしよう｡
‫つまり､ 差が4だったので､ 2乗の差は16になったわけです｡
‫ですから､ これらの値は数十万単位であることを忘れないでください｡
‫だから､ だから､ 違いがあったんです｡
‫私たちのモデルでは､ その差は4であった｡
‫だから40万円｡
‫それはどのようなものですか？
‫MSA指標を計算するときは､ 最初の指標をデフIログします｡
‫20,046であっても0なので､ この値を取得し､ 二乗差の列にインデックスを付けて､ 16に変更することにします｡
‫データフレームのスライスのコピーに値を設定しようとしています｡
‫大丈夫です｡
‫このまま進めばいいんです｡
‫その警告は当分無視できる｡
‫ヘッドデフを行ったそうです｡
‫私たちはデフを求めます｡
‫さあ､ 行こう｡
‫新しいdefを作成します｡
‫実は､ def large eraはdef copyと同じで､ ロック時にdef large errorが発生するのです｡
‫おっと､ そこでコピーする必要がありますね｡
‫そして､ デフ・ラージ・エラーが発生しました｡
‫美しい｡
‫そこで､ 大きなエラーが出てしまったのです｡
‫デフ大のエラーです｡
‫元のデータフレームのコピーを作ったところです｡
‫さて､ この値でMSSAを計算すると､ どうなると思いますか？
‫これが本来の姿なんですね｡
‫今度はこの二乗差の平均を求めよう｡
‫そこで､ 誤差の少ないmssaを計算したい｡
‫もちろん､ これは手作業でごまかしたデータなので､ 手作業で入れたものですが､ MSSAで何が起こるかを示すものです｡
‫そこで､ 二乗差分を定義して､ この列の平均を求めることにしましょう｡
‫おっと､ ラージエラーメインのやつだからデフ｡
‫何があったんですか？
‫おお､ すごい｡
‫大きな誤差を導入しても､ 全くと言っていいほど変わりません｡
‫では､ 大きなエラーをいくつか作ってみるのはどうでしょうか｡
‫デフ・ラージ・エラーにしよう､ Iロックができる｡
‫なるほど｡
‫まだ数が少ないから欲しい｡
‫20個あります｡
‫この中に4000個のサンプルがあるんです｡
‫だから平均が効くんです｡
‫さあ､ 行こう｡
‫1から100までが20に相当します｡
‫ただ､ これは本当にステップアップするためのものです｡
‫そして､ df大時代｡
‫誤字脱字が多い
‫ほら､ 20､ 20､ 20｡
‫そして今度は､ ロジックエラーで同じことをやってみましょう｡
‫そうですね｡
‫そこで､ ポンプで吸い上げるのです｡
‫そうですね｡
‫それは､ 人為的に膨らませたデータでの話です｡
‫ああ､ ここにも違いがあるんですね｡
‫ここでデータフレームがぐちゃぐちゃになってしまいました｡
‫でも､ それでいいんです｡
‫これはあくまで例です｡
‫私たちの場合､ 違いは､ 私たちのモデルが実際にかなり良いパフォーマンスをしていることです｡
‫ですから､ 個々の特定のサンプルについて､ その差があまり大きくないということは､ 良いことだと思います｡
‫つまり､ 我々のモデルはかなりうまくいっているが､ MSSAではペナルティを受けるということだ｡
‫つまり､ MSIに基づいてモデルを判断した場合､ その差が他の部分や異常値よりもずっと大きければ､
‫それが増幅され､ この数値が上昇することになります｡
‫二乗誤差は､ 実際には平均化されてNMAよりもかなり低い値になっています｡
‫一般的にMSIは2乗のため､ MMAより高いので､ 必ずしもそうとは限りません｡
‫そして､ パートナーとして､ もう少し情報を投げかけたいのですが､ もういいというわけではありません｡
‫主二乗誤差にもMSIがあり､ これは主二乗誤差の平方根に過ぎないのですが､ それはこちらのドキュメントで説明することにします｡
‫メトリックスとスコアリング
‫平均二乗誤差の平方根をとればいいのです｡
‫最後に､ どの回帰行列を使うべきかについてです｡ これまでいくつか見てきましたが､
‫他にもたくさんあります｡
‫二乗決定係数は､ 精度と同様に､ モデルがどの程度うまくいっているかを簡単に示すものですが､ それぞれの予測がどの程度外れているかという点で､
‫必ずしもモデルがどの程度間違っているかを教えてくれるわけではありません｡
‫テストデータセットでR二乗の値が1であれば､ かなり疑わしく思いますね｡
‫だから､ それをチェックするんです｡
‫データ分割が正しく行われていることを確認します｡
‫MAは､ 各モデルの予測が平均してどの程度外れているかをよりよく示すものです｡
‫つまり､ 各予測は平均して目標値からこれだけ離れているのです｡
‫目標値と同じ尺度になっていますね｡
‫また､ MSIの計算方法のためMIやMSIを比較したい場合､ 予測値と実測値の差を二乗することになります｡
‫つまり､ より大きな差を増幅してしまうのです｡
‫だから､ 1万円落ちると5千円落ちより2倍悪いとなると､ もっと私に注目してほしい｡
‫つまり､ 尺が合っているときですね｡
‫しかし､ 予想が10000の場合､ 外れることは5000の場合より2倍以上悪いのです｡
‫ですから､ 本当に値に近いモデルが必要で､ 離れれば離れるほど誤差が大きくなります｡
‫MARを減らしてみるのもいいかもしれませんが､ これらに留意してください｡
‫このスライドを参照してください｡
‫コード例を参照してください｡
‫モデルの評価方法については､ ドキュメントを参照してください｡
‫よく出くわしますよね｡
‫モデルをトレーニングしたら､ すぐにそれを評価したくなるものです｡
‫では､ そういうことで､ 次に進みましょう｡
‫今回は､ モデルの評価方法をもうひとつ確認します｡
‫いよいよスコアリングパラメーターについて見ていきます｡