‫最後に､ データエンジニアが行う主な3つの仕事について説明し､ データエンジニアの仕事を大まかに説明しましょう｡
‫1つは､ ETLパイプラインと呼ばれるものを構築することです｡
‫あるいは抽出・変換・読み込みのパイプライン｡
‫ですから､ データの取り込みとは異なり､ 単にデータをある場所から別の場所に移動させることを意味します｡
‫そして､ ETLパイプラインとは､ これらすべてのシステムで生成されたデータを､ データエンジニアが抽出するという考え方です｡
‫そのデータを抽出し､ そのデータを抽出したら､ 変換するのです｡
‫データを有用な形に変換し､ データウェアハウスにロードできる形にします｡
‫そこで､ データを抽出するのです｡
‫データを変換するのです｡
‫そして､ そのデータをデータウェアハウスのようなものにロードして､ 社内で利用できるようにするのです｡
‫そして､ Python､ Go Scala､ Javaなどのプログラミング言語を使用して､ ETLジョブや抽出変換負荷を達成するのです｡
‫それが最初の課題ですね｡
‫2つ目は何ですか？
‫2つ目は､ 解析ツールの構築です｡
‫私たちの会社のシステムがどのように機能しているかを理解するために見るのです｡
‫データエンジニアは､ システムのどこかが壊れたときに､ 私たちに通知されるようにする必要があります｡
‫データエンジニアは､ データサイエンティスト､ データアナリスト､ ビジネスインテリジェンス担当者がツールを使ってデータを分析するだけでなく､
‫導入したシステムが正しく稼働しているかどうかも確認することができるのです｡
‫最後に､ 3つ目の主な仕事は､ 当然ながらデータウェアハウスとデータレイクの維持管理です｡
‫それは､ そこにあるすべてのものが､ 企業の他の部分から利用できるようにすることです｡
‫さて､ これでデータエンジニアの仕事について､ 大まかな流れがつかめました｡
‫Hadoop､ Kafka､ Apache､ Sparkなど､ この業界で絶対に聞いたことがあるようなツールについて､
‫本当に理解するのが難しい用語についてお話したいと思います｡
‫次回､ 誰かに「Hadoopを使うべきか」と聞かれたときに､ その答えが分かるように､ このランドスケープの概要を説明します｡
‫ねえ､ Hadoopって何のためにあるの？
‫Kafkaは必要なのか？
‫答えられるようになる
‫そして､ このコース終了後は､ 実際にこれらのツールを使って仕事をすることができるようになるのです｡
‫今､ この状況は急速に変化しています｡
‫新しいツールがどんどん出てきていますね｡
‫ですから､ これからお見せすることは､ データエンジニアにとって絶対に知っておかなければならないことだとは思わないでください｡
‫むしろ､ その存在を知ってください｡
‫しかし､ 常に更新されているため､ 必要に迫られたときだけ学習し､
‫使用するようにしましょう｡
‫そして､ データエンジニアリングの世界は､ 今､ 本当に速いペースで進んでいます｡
‫とはいえ､ 次の数本のビデオでは､ データについてオタクになりましょう｡