‫お帰りなさい｡
‫では､ データとは何でしょうか｡
‫というか､ もう話したし､ データとは何かということは分かっているはずです｡
‫また､ なぜビジネスがデータにこだわるのか､ その理由もわかっています｡
‫私たちは今､ データに価値がある世界に生きており､ 最も価値のある企業の中には､ データを収集しているからこそ価値がある企業もあります｡
‫FacebookやGoogleのような企業は､ お金を稼ぐためにデータを販売します｡
‫そのデータを使って製品の改良を行い､ お客様に製品を提供している｡
‫データは新しい金だ｡
‫データを理解することで､ 例えばYouTubeのレコメンデーションエンジンを作るなど､ 製品の一部になる可能性があるため､
‫企業は気にかけているわけです｡
‫会社の販売統計を把握するために､ 「会社は大丈夫なのか」と問いかけることもできますし､ 会社を改善するためにデータを使って､ 「もっと良くならないか」と問いかけることもできます｡
‫何を改善すればいいのか？
‫どうすればアプリを高速化できるのか？
‫このように､ 企業はデータを重要視していますが､ このデータを操作したり､ 集めたりして､ データエンジニアが何をしているのか､
‫少し時間をかけて､ 本当に理解したいと思っています｡
‫では､ 4種類のデータについて説明しましょう｡
‫構造化データというものがあることを知りました｡
‫このように､ データはさまざまなソースからさまざまな方法で収集されるため､ 私たちが理解し､ 読み取ることができるように､
‫実際にうまく整理されたデータです｡
‫そうだろ？
‫しかし､ コンピュータ上では､ 通常､ 表やマトリックスと呼ばれる表で､ 読みやすくするための標準的な方法があるのです｡
‫属性は通常列､ 行は通常インスタンスで､ 機械学習で見たように､ 入力と構造に基づいて出力を予測するように､
‫一番右の列に出力を置くこともあります｡
‫データは通常､ MySQLのポストグラフなどのリレーショナルデータベースなど､ SQLクエリというものを実行できるものから得られます｡
‫つまり､ 構造体データに対してアクションを起こし､ 情報を収集すること｡
‫そして､ 半構造化データです｡
‫構造化されたデータもありますが､ 多くの場合､ XML CSVやJSON形式のようなものです｡
‫そして､ これらは拡張子が異なるだけで､ 異なるファイルにデータを保存する方法が異なる｡
‫例えば､ オンラインで自由に公開されているデータを取得したり､ データセットを探したり､ コンペティションを行ったり､ 他の人のノートブックを見たり､
‫機械学習のトピックについて話したりするための､ 本当に人気のあるウェブサイトがあります｡
‫Kaggleでは､ 私たちが実際に使って遊ぶことができるデータセットを見ることができます｡
‫そして､ この中でXMLのようなものを入力すると｡
‫すべての情報､ あるいはすべてのデータを与えてくれる｡
‫これをXML形式にしたものを大きくしましょう｡
‫そこで､ 例えば､ 血球の画像をクリックすると｡
‫そして､ 私｡
‫こちらをご覧ください｡
‫データソースは､ CSVファイルもあれば､ XMLファイルもあるんですね｡
‫そして､ 下にスクロールしていくと､ 画像もありますね｡
‫そのため､ 使用できるデータの形式もさまざまです｡
‫ちなみに､ ここでフィルターをクリックすると､ 実際にデータで利用できるファイルの種類がいくつか表示されます｡
‫今､ 私たちはCSPについて知っています｡
‫JSONには､ JSONもありますが､ このビアスタイルを見てみましょう｡
‫下にスクロールすると､ JSON形式とJSON形式になっていることがわかります｡
‫このようにツリーのような構造で､ データを探索することができます｡
‫CSVとは少し違い､ データを整理するための別の方法というわけです｡
‫さっきも言ったように
‫Kaggleでは､ さまざまなものを使って､ このようなタイプのデータセットを見つけることができます｡
‫例えば､ SQL Lightはデータベースの一種で､ SQLを使うので､ 構造化されたデータです｡
‫だから､ こっちでSQL Liteをやって､ リレーショナルデータベースを使って検索をかけると｡
‫これはSQLを使っていることがわかります｡
‫そして､ どのような通信手段を有しているかを教えてくれます｡
‫このように､ Kaggleでは様々な方法で探索することができますが､ この2種類のデータは通常よく整理されており､
‫CSP用のpandasなどのツールを使って簡単に操作することができます｡
‫そして､ 実はpandasでSQLもできるんです｡
‫3つ目は､ 非構造化データです｡
‫そして､ ダニエルはすでにこのことに触れていますね｡
‫この非構造化データというのは､ 通常､ 簡単に操作・分析できるような単純な形式ではありません｡
‫電子メールやPDFなど､ 実際に理解するのが少し難しい文書が多いようです｡
‫非構造的なんです｡
‫最後に､ バイナリデータです｡
‫音声ファイル､ 画像ファイル､ 動画ファイルなどのことです｡
‫バイナリになってる｡
‫それは､ コンピュータが理解できる1と0である｡
‫しかし､ 私たちがそれらを分類するのは､ 本当に難しいことなのです｡
‫ご覧の通り､ 上から下へ｡
‫本当に整理され､ ラベル付けされたデータから､ 特に機械では少し整理しにくいものへ｡
‫では､ なぜこの4種類のデータの話をしなければならないのでしょうか｡
‫まあ､ ほとんどの企業がそうだから｡
‫大規模になればなるほど､ 構造化されたデータだけでなく､ あらゆる種類のデータ､ あらゆる種類のインプットが必要となり､
‫それらが何らかの形で連動する必要があります｡
‫データエンジニアの仕事のひとつは､ あらゆる種類のデータが存在することを利用して､ それらを組み合わせたり､
‫ビジネスに役立つように整理したりすることです｡
‫ここで一息ついて､ 次の動画でもう少し掘り下げてみましょう｡