‫それでは､ 足りない値を埋めてみましょうか｡
‫そこで､ すべての欠損値について､ ここに小さな見出しをつけます｡
‫美しい｡
‫そして､ ここにはかなりの数の欠損値があります｡
‫そこで､ どうするかですが､ まず数値の欠損値をやると思います｡
‫では､ ここに書いておきましょう｡
‫もう一つの小さな見出しを付けて､ これを2番に変更します｡ 美的感覚が好きなので､
‫まず数値の欠損値を埋めることにします｡
‫素晴らしい｡
‫では､ どのカラムが数値で､ どのカラムが数値でないかを確認するにはどうすればよいのでしょうか｡
‫そこで､ 私たちができることは｡
‫は文字列の日付型であることを忘れないでください｡
‫以前もそうでしたね｡
‫ここまでのデータフレームをループさせました｡
‫そこにプレスシフトを入れることができるかもしれません｡
‫どこにあるんだ？
‫String Dタイプもそうです｡
‫そこで､ もう一つ､ ご推察の通りです｡
‫また､ 数値データ型もあります｡
‫この上ですか？
‫いいえ｡
‫行くならここかもしれない｡
‫ここでは､ numericです｡
‫さあ､ どうぞ｡
‫数値データを入力したいので､ 与えられた配列またはd型が数値d回であるかどうかをチェックする｡
‫どの列が数値であるかを調べたい｡
‫テンプレート項目にある4つのラベル内容をループしてみましょう｡
‫そこで､ カラム名と各カラムに含まれる内容をループさせることにします｡
‫そして､ APIのドットタイプをIfするのです｡
‫DOTは数値データです｡
‫意味があるのか？
‫ここに入れるべきものは､ 内容がイエスであれば｡
‫列の内容が数値の場合､ ラベルをプリントアウトしたい｡
‫これがカラムの名前になるわけです｡
‫素晴らしい｡
‫では､ その一つを確認してみましょう｡
‫この下にあるのは､ 数字であることがわかるように作ったものです｡
‫でも､ せっかくだから､ モデルIも見てみよう｡ D..
‫素晴らしい｡
‫だから､ 彼はモデルIになるんだ｡ D. とか､ 実はそれが何なのかを確認することができます｡
‫モデルIDは､ あなたのユニークなマシンモデルEFIモデルの説明のために識別します｡
‫美しい｡
‫さて､ これが数値型です｡
‫そして､ どの数値カラムがNULL値を持つかをチェックし､
‫欠損した数値カラムを埋めたいのですが､ どのカラムが欠損しているかを調べることができます｡
‫さて､ どうすればいいのでしょうか｡
‫さて､ まずは4つのレーベルコンテンツについてです｡
‫DFのテンポラリアイテムの前にやったことをそのまま書いて､ これから行きたいと思います｡
‫PDB API タイプ DOT が数値である場合｡
‫タブをやってみたが､ 選択肢が多すぎる｡
‫数値型コンテンツである｡
‫素晴らしい｡
‫そして､ pandasのis nullという機能や関数があるかどうかをチェックする必要があるかもしれません｡
‫だから､ PDがNULLになれば｡
‫パンダはNo.
‫さあ､ どうぞ｡
‫つまり､ これは配列のようなオブジェクトの値の欠落を検出するものです｡
‫そこで､ pandas is null contentで実現します｡
‫それが私たちの願いです｡
‫そこで､ ここでもif文をしています｡
‫だからPDはNULL｡
‫だから､ これは行くんです｡
‫カラム全体のコンテンツ aka に null 値があるか？
‫null値はありますか？
‫しかし､ これがサムソートータルであることを確認する必要があります｡
‫だから､ もしNULL値があったら
‫つまり､ これが0より大きい場合は､ ラベルを印刷したいのです｡
‫これで､ どの列が値を持っていないかがわかるはずです｡
‫わかりました｡
‫どのカラムがどの数値カラムに値がないのかがわかったので､ 次は
‫何かで埋め尽くす｡
‫そこで､ 数値の行を中央値で埋めることが考えられます｡
‫うーん｡
‫では､ そうするのはどうでしょう？
‫これを受け取ればいいんです｡
‫これをここにコピーしておきます｡
‫それでは､ 中央値の行を数値で埋めてみましょう｡
‫素晴らしい｡
‫でも､ もうひとつ､ 実際にやってここに行かないといけないことがあるんです｡
‫まあ､ やらなくてもいいんだけど､ とにかくやるんだ｡
‫そして最初に書き出すのは､ データが欠落していたかどうかを示すバイナリ列を追加するためです｡
‫そのコメントは少し長いですが､ それは問題ではありません｡
‫なぜ､ このようなことをする可能性があると思いますか？
‫私たちがやっている間､ あなたにはそれについて考えてもらうことにして､ 私たちはここでミッシングイコールズを行っています｡
‫PDはコンテンツになりました｡
‫素晴らしい｡
‫そして､ これから行うことは､ 欠落している数値を中型のDF temp label equals contentで埋めることです｡
‫コンテンツ・ドット・メディアを埋めていくのです｡
‫誰？
‫私たちは､ これまでやってきたことをベースにしただけですが､ シフトとエンターキーを押す前に､ ここに新しい2つのステップを追加しました｡
‫これに関しては､ 私たちのルールに反しています｡
‫もし､ Fとコードを追い越すなら､ なぜこのコラムをここに置くのか､ 考えてみてほしい｡
‫なぜ､ 中央値で埋めるのかと聞かれるかもしれませんね｡
‫なぜメインではないのか？
‫なぜこの列を追加したかというと､ もし欠損データをすべて中央値で埋めてしまうと､
‫その欠損値には何か理由があるかもしれないからです｡
‫その情報は保管しています｡
‫列を追加することで､ その変数が欠落していたかどうかを真偽で判断すること｡
‫つまり､ オークショニアIDの値が欠落している行を見つけて､ オークションのアイデア列の中央値で埋めると､
‫データフレームの一番最後にtrueという列ができます｡ これは基本的に0か1で､
‫このオークショニアID列は埋まったけど､ もともとこの行にはこの値がなかったということを示します｡
‫そのデータは保管しています｡
‫そのサンプルにオークショニアIDの欠落があったという情報をデータセットに残しているのです｡
‫そこで､ その情報を残したまま､ 中央値で埋めていくわけです｡
‫そして､ なぜ中央値なのか､ という疑問があるかもしれませんね｡
‫なぜ平均値ではないのか？
‫さて､ ここで重要なのは､ なぜかというと､ 中央値は平均値よりも頑健だからです｡
‫そして､ 中央値が平均値よりロバストであるとはどういうことか､ と疑問に思われるかもしれません｡
‫つまり､ 平均値を使う場合､ 多くの異なる値､ つまり412,000個の値がある場合､
‫多くの異なる値の主成分は外れ値に非常に敏感であることがあります｡
‫そこで､ ちょっと大雑把な例で説明します｡
‫そこで､ mainよりもmedianの方が堅牢であることを実証してください｡
‫そして､ このセルを走らせたところです｡
‫それでどうなったのか､ ちょっと確認してみましょう｡
‫そして､ なぜ中央値を使うのか､ その例を挙げたいと思います｡
‫このgo y use median over mainの検索にかかるかもしれません｡
‫それは､ ある種の延長線上にあるのかもしれません｡
‫そこで研究すればいいのですが､ 私たちはここに行き､ テンスイコールNPの秋に行くのです｡
‫これによって何ができるのか｡
‫値100の長さ1000の配列を作成しています｡
‫では､ 1000人いるとしましょう｡
‫なぜ､ このテンスというのか？
‫だから100｡
‫数百人｡
‫100円ずつ持っている人が1000人いて､ 何百人､ 何億人と作っていくんです｡
‫その1000人の中から､ ビル・ゲイツがちょうど入ってきて､ 100万ドルを持っているとしよう｡
‫だから､ ノットテンにするんです｡
‫何百人も欲しい｡
‫100ドルを持っている人が1000人いるわけです｡
‫しかし､ 今はビル・ゲイツが入ってきて､ 10億円を持っている｡
‫ゼロが9個ですね｡
‫なんということでしょう｡
‫ゼロが多いな｡
‫1､ 2､ 3
‫よくやった｡
‫なるほど｡
‫ここで行うのは､ main hundreds を上げて､ main hundreds billion を空にし､ median
‫hundreds を空にして､ median hundreds billion を入れるということです｡
‫つまり､ やっていることは､ それぞれの平均と中央値を取っているだけなのです｡
‫それぞれの中央値｡
‫そして､ 見てみましょう｡
‫おっと
‫ということで､ お分かりいただけたでしょうか？
‫この配列で？
‫数百人｡
‫見てみましょう｡
‫これは､ 100という数字の千の例に過ぎない｡
‫メインは100です｡
‫なるほどね｡
‫そして､ 中央値も100です｡
‫でも､ 10億を足していくと､ この辺になるはずです｡
‫あるいは､ そうでないのかもしれません｡
‫数千億円単位です｡
‫さて､ 最後に10億が右肩上がりになった例を一つご紹介しました｡
‫それがどれだけ私たちの平均値に影響を与えるか見てみましょう｡
‫そして今､ これは極端な例ですよね？
‫10億と100を使い分けているのです｡
‫つまり､ 桁が2つほど違うんです｡
‫中央値との違いを見てください｡
‫最も純粋な形で｡
‫そのため､ 中央値を使うことにしています｡
‫それで､ なぜメディアをメインに使うのか､ ということを調べていると､ そういうことに出くわすことがあります｡
‫しかし､ その主な理由は､ 中央値の方が外れ値に強いからです｡
‫しかし､ それをカバーした上で､ 今やったことを見てもらいましょう｡
‫これ､ 今どうしたんだろう？
‫そこで､ それを把握するために､ 今できることは､ NULLの数値があるかどうかをチェックすることです｡
‫そして､ 以前はどのようにしていたのでしょうか？
‫まあ､ フルラベルコンテンツとDFテンプレートの項目はやったし､ それはそれでいいんだけど｡
‫PDドット､ APドットが時間通りなら､ つまり......ここで先走っちゃいましたね｡
‫D タイプの数値内容｡
‫素晴らしい｡
‫PDがNULLの場合､ ラベルを印刷する｡
‫つまり､ 数値や数値カラムにNULL値が残っているかどうかが分かるはずです｡
‫それらのカラム名がプリントアウトされるはずです｡
‫そして､ 何もプリントアウトされない｡
‫理由は､ 中身を満たしただけだからです｡
‫中央値で足りなかったものは
‫では､ バイナリ列がどうなったか確認してみましょう｡
‫なるほど｡
‫確認すること｡
‫だから､ これがうまくいったのなら
‫ここで上がりましょう｡
‫オークションIDの値がいくつ足りないか？
‫それを見極めることができるのか？
‫前回のものから｡
‫AUCTIONEER ID.
‫なるほど､ そうすればよかったんですね｡
‫falseを埋めたということは､ 総行数からこれを差し引いたものになるはずです｡
‫つまり､ trueはバイナリ列のこの値になるはずです｡
‫そうだろ？
‫欠けていなかったからです｡
‫では､ ここに行ってみましょう｡
‫いやはや｡
‫本当です｡
‫この番号にする必要があります｡
‫それだけ欠損値が多いということですから｡
‫ここでやったことは､ 値を埋めて､ 欠落している値を確認することです｡
‫つまり､ このバイナリ列は､ 20,136個の例に対して真になるはずである｡
‫では､ それを確認してみましょう｡
‫カラムのオークションを作ったのでdef underscore temp dot｡
‫IDが欠落している｡
‫ここでは､ ラベルプラスが欠落していることを確認してください｡
‫さて､ これは真でもあり偽でもあるはずです｡
‫美しい｡
‫つまり､ オークショニアIDの欄に20,136の値を記入したことになる｡
‫オークションのアイデア欄の中央値で作っただけなので､ 欄がないわけではありません｡
‫誰？
‫さて､ これでかなり充実した内容になりましたが､ データフレームにはまだ欠損値が残っています｡
‫他にどんなものがあるのか､ チェックしてみましょう｡
‫数値の欠損はすべて埋めましたが､ まだいくつか残っています｡
‫ふむ｡
‫まだかなりの数が残っています｡
‫これらのものはすべてゼロです｡
‫欠損値がないのは良いことだ｡
‫機械学習モデルで使用するための準備は整いつつありますが､ 機械学習モデルでデータを使用する前に､
‫まだこれらすべてを満たす必要があります｡
‫では､ 次の動画でやってみましょう｡