‫お帰りなさい｡
‫このように､ 企業でデータがどのように使われるのか､ 一通りの流れを説明したところです｡
‫でも､ もう少し話したいことがあるんです｡ 今､ 水の話をしましたが､ これは本当に応用できるのでしょうか？
‫データエンジニアは､ 実際にどのようなツールを使っているのでしょうか｡
‫まあ､ こんなことを聞いたことがあるかもしれませんね｡
‫カフカについては､ 後ほどご紹介します｡
‫しかし､ これらのデータストリームを集めて､ データレイクに入れるようなものです｡
‫例えば､ KafkaやApache Kafkaがデータレイクのためにできるかもしれないことです｡
‫これらは､ 企業が利用できる単なるプログラムです｡
‫例えば､ HadoopやAmazon S3､ Azure Data Lakeなどの名前は聞いたことがあるかもしれません｡
‫これは､ データ漏洩のように大量のデータを保持するために､ 技術者が作り上げたプログラムである｡
‫そして､ データウェアハウスには､ GoogleのBigQuery､ AmazonのRedshift､ さらにはAmazonのAthenaといったツールがあります｡
‫この構造化されたデータをエンジニアがクエリや分析するためのデータウェアハウスである｡
‫今､ あなたが何を考えているのか､ 私は知っています｡
‫このシステム全体の中で､ 誰が何をするのか？
‫このシステム全体をデータエンジニアが作ってくれていることがわかりました｡
‫彼らはさまざまなツールやプログラムを使ってデータを取り込み､ データレイクやデータウェアハウスに入れます｡
‫だから､ データサイエンティストとして､ 機械学習の専門家として｡
‫どのデータを使っているのですか？
‫ビデオを一時停止して､ 考えてみてください｡
‫答えの準備はできている｡
‫まあ､ たいていはデータレイクで作業することになるでしょうね｡
‫というのも､ 機械学習をする場合､ データは多ければ多いほどいいということを忘れてはいけませんよね｡
‫また､ 機械学習では､ 構造化されたデータでも非構造化されたデータでも使用することができます｡
‫データレイクにアクセスして､ CSV形式でもその他の形式でも､ モデルに使用するデータの束を実際に取得することができるのです｡
‫そして､ 通常､ データウェアハウスは､ 赤ちゃんやビジネスインテリジェントな人々､ ビジネスアナリストやデータアナリストが､
‫データの可視化や分析を行うために使用されます｡
‫なぜなら､ データウェアハウスには通常､ データ漏えい時よりもきれいに取り除かれた構造化データが多く存在するからです｡
‫データを情報として理解し､ 活用することができるようになったのです｡
‫さて､ データサイエンティストとして､ データウェアハウスからデータを利用することができます｡
‫そして､ これは単なるルールではなく､ 通常は自分にとって使えるデータであれば何でも使うものです｡
‫しかし､ これはデータサイエンティストができる限り多くのデータを使う､ できる限り有用なデータを使うということを考える良い方法です｡
‫ビジネスインテリジェンスやデータアナリストは､ データエンジニアがデータをクリーニングし､
‫データウェアハウスのようなものを使ってデータを分析します｡
‫そして､ グーグルのビッグクエリーはまさにそれです｡
‫エンジニアの経験やプログラミングの経験があまりなくても､ データウェアハウスでデータを分析することができるのです｡
‫ソフトウェアエンジニア､ ソフトウェア開発者､ アプリ開発者､ モバイル開発者は､ ユーザーや顧客が使用するプログラムやアプリを構築し､
‫データを公開するのですが､ このような考え方もできます｡
‫そして､ データエンジニアは､ データを取り込み､ HadoopやGoogle､ BigQueryなどのさまざまなサービスに格納するための配管やパイプラインを構築し､
‫そのデータを他のビジネス部門がアクセスできるようにします｡
‫次に､ データレイクを利用するデータサイエンティスト､ そして情報を抽出し､ 何らかのビジネス価値を提供するデータサイエンティストです｡
‫最後に､ データウェアハウスや構造化データなどを使って､ ビジネス価値を引き出すためのデータアナリストやビジネスインテリジェンスがあります｡
‫そして､ 業界でいろいろなタイトルを耳にしたときに､ 少しはイメージが湧くのではないでしょうか｡
‫今､ この業界は進化が早く､ 重なる部分があるのは確かです｡
‫また､ あるジョブ・ディスクリプションに書かれていることが､ 他のジョブ・ディスクリプションと異なることもあるかもしれません｡
‫しかし､ これは一般的で単純化されたルールであり､ それぞれの役割がどのように企業の一部分を担っているかを理解するために使用することができます｡