‫やあ､ アンドレからちょっとしたお知らせです｡
‫さて､ これから数回にわたって､ ダニエルが機械学習のワークフローを紹介します｡
‫そして､ 彼がやろうとすることの1つは､ まあ､ データをきれいにし､ 変換し､ あらゆる種類の操作をすることです｡
‫Jupyter Notebooksで作業しているときは､ 本当に混乱することがあるので､ 今はハイレベルな視点で見ていきたいと思います｡
‫なぜそうなるのかがわからないまま､ 何段階にも分けてやっているような感じです｡
‫しかし､ ここで一歩引いて､ データサイエンティストとしてあなたが見る次の数本のビデオで行うことをなぜ行うのかを理解したいと思うのです｡
‫データが多ければ必ず良いというわけではありません｡
‫つまり､ そうです｡ 一般的にデータが多ければ多いほど､ 作業がしやすいのです｡
‫しかし､ 結局のところ､ まったく役に立たないデータになってしまうこともあるのです｡
‫私たちが欲しいのは､ 実際の結果や実行可能なステップを得るための有益なデータだけなのです｡
‫ダニエルは､ 機械学習モデルを作成する前に､ このステップを実行することになります｡
‫ほら､ このステップを実行したいんです｡
‫データをきれいにする､ データを変換する､ データを減らす｡
‫では､ そのことについてお話ししましょう｡
‫なぜデータのクリーニングが必要なのか？
‫さて､ データの削除と入れ替えを行いたい｡
‫だって､ データが欠落していることもあるじゃないですか｡
‫欠損値や欠損ラベルのある表があるかもしれません｡
‫それでは役に立ちませんし､ 正しい機械学習モデルを構築することもできません｡
‫そのため､ 通常は空の行やフィールドがない列を削除したり､ ある種の平均値を計算したりします｡
‫していれば､ 住宅価格は空いた価格表を埋めて､ 平均的な住宅になるかもしれません｡
‫データから異常値を発見し､ それを取り除くこともできます｡
‫次にデータ変換です｡
‫ほら､ コンピュータは概念を理解していないでしょう？
‫ほとんどの場合､ コンピュータは1と0を理解するだけです｡
‫コンピュータを教えるために､ 本当に数字だけでいいんです｡
‫ほとんどの場合､ 私たちはデータをコンピュータが理解できる何らかの形に変換したいと考えます｡
‫そこで､ ダニエルが実際に情報の一部を数値に変換してみることにしました｡
‫家の値段や給料など､ コンピュータが数字を簡単に理解できるため､ モデルを作るのが簡単なものがあるかもしれません｡
‫でも､ 色が何であるかはわかりにくいかもしれません｡
‫グリーンとは？
‫ブルーとは何か？
‫コンピュータにはそれがわからない｡
‫その代わり､ コンピュータが理解できるように､ 色をgbpsカラーのように数値に変換しています｡
‫データを変換する方法としては､ 通常､ 0と1の間にある､ Do you have heart disease or do you
‫not know?
‫心臓病はゼロ｡
‫心臓病もその一つです｡
‫全体のデータが同じ単位を使うようにしなければならないのです｡
‫あるデータはメートルを使い､ 別のデータはヤードを使うかもしれない｡
‫この､ データを有用な形に変換するというのは､ 本当に､ 本当に難しいことで､ ただただ練習あるのみです｡
‫しかし､ ダニエルがどのようにデータを変換し､ どんどん使えるようにしていくのか､ 見ていただきたいと思います｡
‫つまり､ データをきれいにしたら､ データを変換したら､ 次はデータを小さくすることです｡
‫なぜデータを減らすのか？
‫できるだけ多くのデータが欲しいのではないでしょうか？
‫まあ､ 理論的にはそうなんですけどね｡
‫しかし､ 忘れてはならないのは､ 何事にもお金がかかるということです｡
‫データが多ければ多いほど､ CPUが多ければ多いほど､ 計算を実行するのに必要なエネルギーは多くなります｡
‫ですから､ より少ないデータで同じ結果を得ることができれば､ それは実際にコスト削減につながります｡
‫特にGoogleのように多くのデータを持ち､ 多くのCPUを動かしている大企業では､ 企業のコスト削減につながります｡
‫データ削減の考え方は､ 次元削減とも呼ばれることがあります｡
‫あるいはカラムリダクション｡
‫テーブルのカラムはたくさんあってもいいのですが､ そうするとものすごく遅くなるんです｡
‫そのため､ 機械学習モデルには不要と思われる列を削除することができます｡
‫データサイエンティストとして､ すべてのデータが自動的に完璧なものになるとは限らないということを､
‫心に留めておいてください｡
‫クリーニングをしなければならない｡
‫変身させなければならないのです｡
‫減らさないといけない｡
‫このように､ データを使いこなし､ 自分にとって便利な形に変換していくこともスキルのひとつです｡
‫だから､ ダニエルがそうするのを見て､ その過程で学ぶことができるのです｡
‫次回作でお会いしましょう｡
‫バイバイ｡