‫お帰りなさい｡
‫データサイエンスや機械学習のコースで忘れられがちなトピックを､ 簡単なセクションで取り上げてみたいと思います｡
‫しかし､ あるトピックを本当に理解するためには､ そのトピックの高いレベルの原理や風景を理解することが必要です｡
‫この場合､ データサイエンティストや機械学習エンジニアとして働きたいと考えています｡
‫ですから､ 少なくともデータエンジニアリングというテーマを理解する必要があります｡
‫しかし､ それはどういう意味なのでしょうか？
‫このタイトルは何なんだ？
‫データサイエンティスト｡
‫データアナリスト｡
‫データの可視化
‫これは狂気の沙汰だ｡
‫これは､ とても分かりにくいですね｡
‫では､ データエンジニアリングについて､ そしてそれがこれまで話してきたエコシステム全体の中でどのように位置づけられるかを説明しましょう｡
‫さて､ データサイエンスとは､ データを使ってビジネスの意思決定を行うことであることを学びました｡
‫そうだろ？
‫ビジネス上の意思決定を行う方法の一つとして､ 機械学習のような手法を用いることがあります｡
‫そのため､ 人間が解くには少し複雑すぎるような問題でも､ コンピューターが学習して解決策を導き出すことができるのです｡
‫というか､ 面倒くさすぎる｡
‫そして､ 時間がかかりすぎる｡
‫だから､ 自動化したいんです｡
‫つまり､ 機械学習は技術であり､ データサイエンスはデータを使って製品やビジネスに役立つものに変換する考え方なのです｡
‫そして､ データ分析はデータサイエンスのサブセットで､ 持っているデータを分析することができます｡
‫しかし､ データエンジニアはすべての企業にいるわけではなく､ 不足しているのはデータエンジニアリングです｡
‫しかし､ 企業が大きくなるにつれて､ この役割を担う人材を採用する必要が出てきます｡
‫その理由を見てみましょう｡
‫誰がこのデータをファイルにして持ってきてくれたのか？
‫このデータはどこから来ているのですか？
‫どのように管理するか？
‫使い終わったら捨てるのか？
‫このデータは誰がラベル付けしたのですか？
‫データサイエンティストや機械学習の専門家は､ このようなトピックを気にする必要はほとんどないのです｡
‫データのこの部分はデータエンジニアが担当するので､ データにアクセスできることが理想です｡
‫では､ その神話上の人物とは誰なのか｡
‫データエンジニアは､ 例えば､ ある会社で､ すべての製品､ ユーザーからのデータ､ セキュリティカメラ､
‫ウェブサイト､ Iotデバイスから送られてくるすべてのデータポイントを取り込みます｡
‫そして､ データエンジニアは､ これらの情報をすべて取り込むのです｡
‫そして､ そのデータを作成し､ データベースやある種のコンピュータで管理することで､ ビジネスが組織的にこのデータにアクセスできるようにするのです｡
‫つまり､ 機械学習やデータサイエンスの専門家がこのデータを利用できるように､
‫あらゆる情報を集めて整理してくれる司書のような存在なのです｡
‫しかし､ これはデータエンジニアの仕事を簡略化したものです｡
‫これを本当に理解するためには､ 初心に帰って「データとは何か？
‫次回作でお会いしましょう｡
‫バイバイ｡