‫なるほど｡
‫前回のビデオでは､ データエンジニアは基本的に､ データサイエンティストのような人々が作業するために利用可能なデータのパイプラインを作成することを理解しました｡
‫しかし､ 私は別の例を使いたいのです｡
‫仮に､ ケイコ株式会社が にはニーズがあり､ そのニーズとは「水」です｡
‫従業員には水が必要です｡
‫頑張ること､ ですね｡
‫そこで､ データエンジニアが解決する問題として考えてみましょう｡
‫さて､ 我慢してください｡
‫これから数分間､ 水の話をしますが､ データに関連することはお約束します｡
‫私たちが水を手に入れるには､ まず雨量が必要です｡
‫雨が必要だ｡
‫そして､ これは私たちが持っていたデータソースと似ています｡
‫それがウェブサイトであり､ 携帯電話であり､ カメラであり､ 車であり､ ドローンである｡
‫これらはすべてデータを収集しているのです｡
‫それが雨粒です｡
‫ですから､ 私たちが社員に水を届けるためには､ どこからか水を調達しなければならないのです｡
‫そしてその水は､ 雨からもたらされる｡
‫次にその水は､ あらゆる場所のデータのように､ 世界中からさまざまな川や小川に集められるのです｡
‫このような水の流れができ始めるのです｡
‫そして､ 次に何が起こるのか？
‫この水の流れが湖になるんです｡
‫それらはすべて､ ある種の湖に流れ込んでいる｡
‫そして､ その湖はじっとしているのです｡
‫しかし､ やはり会社としては､ 社員から水が欲しいだけなのです｡
‫まあ､ 明らかに湖にダムを作って､ そのダムを湖に､ あるいはその湖を利用するためのシステムを作っているわけです｡
‫そして､ その水をろ過衛生区域のようなところに運び､ 水をきれいにして衛生的にし､
‫人々が安全に飲めるようにするのです｡
‫そこで､ その回収した水を加工するのです｡
‫そして､ 最後に､ ケイコー社に水を届けるための配管やパイプをすべて作ります｡
‫そうしてキーコープ社の従業員への水の供給というニーズに応えているのです｡
‫そして､ これがデータの仕組みです｡
‫そして､ これを構築するのが､ データエンジニアなのです｡
‫データエンジニアです｡
‫まず､ データの取り込みと呼ばれるものから始めます｡
‫それは､ さまざまなソースからデータを取得することです｡
‫そして､ これらの異なるデータソースをすべて取得し､ データレイクと呼ばれるものに取り込みます｡
‫データレイクとは､ これらのデータを一カ所に集めたものです｡
‫そこから先は､ 湖をそのままにしておけばいいのです｡
‫しかし､ 問題がある｡
‫湖が溢れたり､ 干上がったりしないようにしたい｡
‫この湖をなんとか管理しなければならない｡
‫村を水浸しにしたくない｡
‫ダムが必要なのです｡
‫住宅への配管が必要だ｡
‫水をろ過してきれいにする必要がありますし､ 家までの配管も必要です｡
‫そこで､ さまざまなソースからこのデータを取り込んだ後､ データレイクに集めるのです｡
‫そして､ データをあるフォーマットから別のフォーマットに変換する､ データ変換と呼ばれる作業を行います｡
‫データウェアハウスとは､ ビジネスに役立つアクセス可能なデータを保管する場所である｡
‫つまり､ 湖にはたくさんの水､ たくさんのデータが集まるのですが､ それがなんだかあちこちに散らばってしまっていたのです｡
‫データエンジニアは､ このデータを見て､ 有用な部分を形成したり利用したりして､ データウェアハウスに入れ､
‫ビジネスの他の部分が再び利用できるようにする｡
‫データレイクとは､ 生データのプールであると考えるのがよいでしょう｡
‫データウェアハウスでまだよく分かっていない目的は､ 構造化され､ フィルターにかけられた､
‫特定の目的を持ったデータの置き場所である｡
‫つまり､ この中にビジネスに役立つデータがあるということです｡
‫つまり､ データレイクは､ データウェアハウスなどに比べて､ データの整理やろ過が不十分であることが多いということです｡
‫さて､ なぜ企業はそのようなことをしたいのでしょうか？
‫ひとつには､ データがうまく整理されていると､ 分析がしやすいということがありますね｡
‫また､ この中には本当に必要ないデータも入っているかもしれません｡
‫収納スペースも節約できますよね？
‫なぜなら､ これらのデータをすべて保存する必要はなく､ 自分たちにしか役に立たない構造化されたデータだけを保存すればよいからです｡
‫また､ お金の節約にもなります｡
‫データエンジニアは､ データサイエンティストやデータアナリストがデータを分析できるように､
‫データ作成とデータ取得のパイプラインをデータエンジニアリングの手法で構築するだけです｡
‫でも､ まだちょっとだけ残っているんです｡
‫では､ 次のビデオでお会いしましょう｡