‫X train y､ train x validation､ y validationでデータを取得しました｡
‫しかし､ 以前のビデオでは､ スコア関数を使ってモデルを評価しました｡
‫学校機能って何を使うの？
‫決定係数を使うのですが､ すぐ上のほうを思い出すと､ すぐ上のほうに出ますよね｡
‫ただ､ これを書いたからには､ 確認する必要があります｡
‫このコンペティションの評価指標は､ 私たちが取り組んでいるプロジェクトでは､ immensely､
‫言い換えれば､ root means squared log errorであることが分かっています｡
‫決定係数とは違うんです｡
‫この評価機能はどこから持ってきたかというと､ 冒頭で見た競合の概要評価からなのですが､
‫それをもう一度確認しておきましょう｡
‫評価する｡
‫つまり､ このコンペティションの評価指標は腕の長さなのです｡
‫それをググって実際どうなのかを確認することができる｡
‫ここに行こう｡
‫Root mean squared log error（二乗平均対数誤差）｡
‫二乗平均平方根対数誤差をどう解釈するかの違いは何ですか？
‫さて､ これで選択肢はかなり増えましたね｡
‫だから､ さらに読みたいと思ったら､ これらは調べればいいことなんです｡
‫でも､ これをコードで解決していくんです｡
‫降りてみよう｡
‫不思議に思うかもしれませんが､ 本当に言及されている平均2乗対数誤差はすべて見たことがありません｡
‫それだけでは､ ちょっと口が裂けても言えません｡
‫というのも､ 基調講演に戻ると､ 分類と回帰のメトリクスがありますが､
‫ここでは回帰の問題に取り組んでいるからです｡
‫これは､ サイクロン編のスライドの一つです｡
‫メイン､ 絶対誤差OC平均二乗誤差､ MSI､ OC二乗根誤差があるんです｡
‫しかし､ これではログの部品が足りません｡
‫それをSRCサイクロンで取り込めるかどうか｡
‫だから､ ここに戻るんです｡
‫私たちができることは､ 自分たちで作ることかもしれません｡
‫だから､ 構築と評価機能｡
‫さて､ これは担当するプロジェクトによっては､ やらなければならないことがありますよね｡
‫ですから､ もし私たちがケーブルテレビのコンペティションに取り組んでいて､ 何らかの理由でこの指標を使わなければならないと言われたら､
‫誰にわかるでしょう？
‫この課題を投稿した人には､ これが必要かもしれません｡
‫これが自分たちの最高の評価指標だと判断しているのでしょう｡
‫どのようなプロジェクトに取り組むかによって､ 自分のユースケースに最も適した評価関数を見つける必要があります｡
‫これから行うのは､ 複数の実験を行うため､ 評価関数を作成することです｡
‫複数の異なる機械学習モデルを当てはめ､ 評価することを目指したい｡
‫そのため､ この機能を関数に組み込んで､ 何度も繰り返すことなく使えるようにします｡
‫もっともっと実験して､ 評価機能を作りたいんです｡
‫大会では平均二乗対数誤差SLAを使うので､ スカラーやマトリクスからも行ける｡
‫SRCの学習評価マトリックスを見れば､ サイキック学習がわかりますが､ ここでは評価指標､
‫平均2乗､ 対数誤差を見ることができます｡
‫なるほど｡
‫だから､ それを使うかもしれない｡
‫Main squared log eraですが､ これはroot mean squared log errorではないので､ 独自の小片を付けなければなりません｡
‫そこで､ どうするかですが､ この1枚を取るかもしれません｡
‫それを輸入することができるのです｡
‫そうしよう｡
‫そこで､ SQL Learned Metricsから､ main squared log errorをインポートし､ その地獄のために､ mean absolute errorを行うことにします｡
‫すべての例で予測を立て､ 実際の値から予測を引いて､ 平均を取るのです｡
‫それが平均絶対誤差です｡
‫では､ 実際の販売価格から平均してどのくらい予測されているのでしょうか？
‫しかし､ 主二乗対数誤差は比率に関係するもので､ 回帰の問題ではほとんどの場合､ そうですよね｡
‫10ドルオフのようなものが好きな方｡
‫だから､ もしこのセール価格から10ドル下がっても､ 予測はあまり意味がないんです｡
‫でも､ 10％オフだったら､ かなりヤバくないですか？
‫10％以上のオフは避けたいところです｡
‫どんな価値観でも､ 何かを挿入する｡
‫20%になるかもしれません｡
‫30%になるかもしれません｡
‫でも､ それがこの2つの違いのようなものですよね？
‫絶対値（absolute）は10ドルオフ､ 2乗（log）などは比率（ratio）と考えてください｡
‫だから､ 10％オフというのは､ この2つを比較するときなんです｡
‫でも､ スライドでちょっとだけご紹介しています｡
‫スクリーンショットを撮っておくといいかもしれませんね｡
‫なかなか良いものですね｡
‫しかし､ これはすべて､ 後でチェックできるスライドの中に入っています｡
‫評価関数を作りたい｡
‫メインスクエアログエラーが発生しました｡
‫では､ それをどのように二乗平均平方根対数誤差に変えるか｡
‫では､ 実際に試してみましょう｡
‫だから､ ここに行くのかもしれません｡
‫ルートミーニングを打ち出したくない｡
‫いや､ それはやりすぎだ｡
‫Ah se mess l e root mean.
‫2乗対数誤差｡
‫美しい｡
‫そして､ それはちょうどなぜテストと､ なぜそれは私のサイキック学習機能と同じ入力を取ることができます｡
‫では､ これがどのように受け取られるかを見てみましょう｡ なぜtrueなのか､ y trueなのか､ why testは本当に重要ではないのか､ そしてここに自分たちのための小さなdocstringを残しておきます｡
‫主二乗対数誤差を計算します｡
‫予想と本当の､ ラベルの間｡
‫素晴らしい｡
‫そして､ また戻ってくるかもしれません｡
‫シンプルでいいじゃないですか｡
‫平均二乗対数誤差の平方根を使えばいいんです｡
‫これをテスト値と予測値の平均二乗対数誤差に渡すことになる｡
‫それは､ 実はとても簡単なことなんです｡
‫ここでやっているのは､ 平方根を取ることです｡
‫そう､ そうなんです｡
‫つまり､ 予測値と真のラベルの間の主二乗対数誤差のルート成分です｡
‫素晴らしい｡
‫そこで､ カーギル社の要求に沿った独自の評価関数として､ 平均二乗対数誤差を作成しました｡
‫そして､ おそらくさらにいくつかのことをチェックしたいでしょう｡ 評価関数を作って､ 同時にいくつかのことをチェックし､
‫このようなものを何度も呼び出す必要がないようにしたいものです｡
‫そこで､ モデルをいくつかのレベルで評価する関数を作ってみましょう｡
‫ですから､ やはり実際のモデルを作るのと同じように､ 評価も重要なのです｡
‫ここにスコアモデルを表示し､ 我々のモデルを渡します｡
‫学習データに対して､ いくつかのモデル予測をしてみます｡
‫そこで､ 学習データに対してモデルがどうだったかを評価します X train そして､ 検証データに対してモデルがどうだったかを評価します
‫モデル DOT predict､ ここでは X validation とします｡
‫もし､ 検証用データセットでモデルの性能が向上していれば､ それはモデルがオーバーフィットしていることを示唆しています｡
‫トレーニングセットには12,000の例しかなく､ モデルをトレーニングしていないので､
‫トレーニングセットのバージョンアップよりも､ 検証セットの方が若干悪いメトリクスを見たいはずです｡
‫だから､ スコアイコールにするんです｡
‫もしかしたら､ 何らかの辞書を返すことになるかもしれません｡
‫そうですね｡
‫だから､ トレーニングは､ かもしれない｡ k. 平均絶対誤差｡
‫行くんだ｡
‫タブでいいですか｡
‫私が完成させるとはどういうことか｡
‫絶対的なもの｡
‫Yes I can y train.
‫だから､ 私たちはあくまでY字路を比較していることを忘れないでください｡
‫これはトレーニングラベルとトレーニング予測のトレーニング平均絶対誤差で､
‫美しいです｡
‫これは楽しみですね｡
‫自分たちで評価関数を書いている｡
‫サイキックライオンへのプルリクエストの可能性かもしれませんね｡
‫なぜ平均2乗対数誤差がないのか不思議だ｡
‫もしかしたら､ そんなに人気がないのかもしれないし､ そんな風に簡単に自分で作れちゃうのかもしれない｡
‫そうなんですか？
‫なぜ？
‫電車､ 電車の頭？
‫しゃべりすぎです｡
‫暗号で話すな､ 子供たち｡
‫いや､ 冗談です｡
‫好きなようにやればいいんです｡
‫さあ､ どうぞ｡
‫ここで､ MSLは､ 機械学習モデルを過小評価しないこと以外は｡
‫それだけが､ 許されないことです｡
‫誰もが良いモデルを好むが､ よく評価された機械学習モデルはもっと好きだ｡
‫そして､ 最後に4つをご紹介します｡
‫せっかくだから､ デフォルトのスコアでやってみよう､ あ､ これインポートすればいいんだっけ｡
‫それも少しはマシになったかもしれませんね｡
‫スコアを出すためでしょうか？
‫これは何でしょう？
‫なぜうまくいかないのでしょうか？
‫タブ 私が完成させたものは､ 私にいくつかの問題を与えています｡
‫だから､ R2スコアだけでアーチをかけるしかないんです｡
‫そうですね｡
‫自分の直感を信じれば､ 必ず得点に結びつきます｡
‫そこで変えているのは､ それだけです｡
‫何かを再利用するのではなく､ 輸入すればいいのです｡
‫さて､ これはかなりまともな機能です｡
‫嘘をつくつもりはない｡
‫いくつかのことに気を配る｡
‫試してみて､ フレッドはおそらく私たちが修正できる冗長性を持っています｡
‫でも､ それでいいんです｡
‫なるべく早く実験したいんです｡
‫わあ､ 実験が遅くなった､ と思うかもしれませんが､ 自分で練習すれば､
‫私の話を聞いてこういうことをしなくても､ 実験がとんとん拍子に進みますから､
‫それはおかしいと思いますよね？
‫これは母音パレードの､ 母音王子が必要です｡
‫美しい｡
‫そして､ そのスコアを返す｡
‫さて､ ここで何をしたかというと
‫そこで､ 今回のプロジェクトに必要なものに合わせて評価関数を作り､ 私たちの場合はその平均2乗対数誤差を算出しました｡
‫それを続けていたら声が枯れてしまいそうです｡ そして､ 別の小さなヘルパー関数を作って､ 他の指標を一通りできるようにしました｡
‫私たちが渡したモデルを使って予測を行い､ その予測をさまざまな土俵で比較するのです｡
‫平均絶対誤差､ 二乗平均平方根対数誤差､ 決定係数について｡
‫ふー｡
‫というわけで､ 独自の評価関数を構築するビデオは､ これで十分でしょう｡
‫さて､ 繰り返しになりますが､ 私たちはできるだけ多くの実験を行っているので､ これは自分のプロジェクトで行うべきことかもしれません｡
‫新しいモデルを試すたびにこれを打ち直すのではなく､ このように評価機能があれば､
‫すぐにいろいろなことができるようになるので便利です｡
‫でも｡
‫シフトを押して､ マットに入りましょう｡
‫それでは､ 関数をインスタンス化して､ 次のビデオでテストしてみましょう｡