‫なるほど｡
‫では､ データエンジニアは実際にどのような仕事をしているのでしょうか｡
‫まず､ データエンジニアの仕事を理解する前に､ 3つの大きな言葉を理解することから始めましょう｡
‫はい､ わかっています｡
‫データエンジニアの周りをぐるぐると回って､ あなたを興奮させ続けていますが､ 本当に､ 本当に近づいていることを約束します｡
‫聞いたことのあるような､ ないような､ この3つの言葉について話し合えばいいんです｡
‫一つはデータマイニングで､ データマイニングとは簡単に言うと前処理をして､ データから何らかの知識を抽出することです｡
‫そこで､ 何らかのデータを使って知識を抽出するのです｡
‫それがデータマイニングです｡
‫ビッグデータ？
‫まあ､ たくさんのデータ､ たくさんの変数があるということです｡ 実際､ ノートパソコンでは実行できないほどのデータ量です｡
‫ノートパソコンやPCでは､ データ量が多すぎて持ちきれない｡
‫通常､ ビッグデータというと､ AWS AzureやGoogle Cloudのようなクラウドコンピューティングや複数のコンピュータで実行する必要があるほど大きなデータのことを指します｡
‫だから､ ビッグデータはビッグデータで､ 通常1台のコンピュータだけでは持て余すデータなのです｡
‫このようなことが起こるのは､ データセットが非常に大きくなっているからです｡
‫今､ 私たちはペタバイト､ ペタバイトのデータを持っています｡
‫そのため､ MySQLやPost Grassなどのデータベースにデータを格納するだけでも､ そのデータベースが1台のマシンだけであれば､
‫本当に難しくなってしまうのです｡
‫さて､ このビッグデータの問題を解決するために､ HadoopやNoSQLといった新しい技術が発明されましたが､ これについては､ これからお話しします｡
‫データパイプラインとは､ データエンジニアが構築するパイプラインのことで､ 大量のデータがあることを利用して､
‫データマイニングによりデータから情報を抽出することが必要です｡
‫ですから､ その未知の大量のデータから､ より有用な形にデータを抽出するパイプラインを持ち込む､
‫あるいは構築する必要があります｡
‫データエンジニアは､ Iotデバイス､ モバイルアプリケーション､ ウェブアプリケーション､ カメラ､ 自動車など､
‫データを収集し､ 情報を保存したりデータをサーバーやクラウドに記録したりするあらゆるデバイスの情報を､
‫データパイプラインとして作成するのが基本的な仕事です｡
‫データエンジニアは､ これらの情報をデータベースやストレージエンジンに蓄積し､ 社内のさまざまな部署で可視化したり､
‫製品のパフォーマンスを監視したり､ ビジネス上の洞察を得てデータからビジネス上の意思決定を行ったり､
‫さらにはアプリでこのデータを利用できるようにするのが基本です｡
‫例えば､ データサイエンティストや機械学習の専門家､ あるいはビジネスインテリジェンスやデータアナリストが大企業に採用される前のユーザープロファイルの場合です｡
‫その前に必要なのは､ データエンジニアを雇うことだ｡
‫私たちがデータサイエンティストとして活躍するためのパイプラインを構築してくれるのです｡
‫この図と､ この部分に注目していたことを思い出してください｡
‫まあ､ このデータ収集の部分をデータエンジニアがやってくれるわけです｡
‫これらの情報をすべて取り込み､ 私たちがデータモデリングを行えるように整理してくれるのです｡
‫機械学習エンジニアやデータサイエンティストであれば､ あまり気にする必要のないデータ収集の部分でも､
‫本当に役立っています｡
‫でもね
‫データエンジニアとは何か､ 私が一番好きなデモンストレーションは次のビデオです｡
‫これからどんどん意味が分かってくるので､ ワクワクしてほしいですね｡
‫その時はよろしくお願いします｡
‫バイバイ｡