‫让我们通过描述数据工程师所做的三个主要任务来完成对数据工程师所做工作的高级概述｡
‫一个是他们构建了我们称之为ETL管道的东西｡
‫或提取变换加载流水线｡
‫与数据接收不同, 数据接收只是将数据从一个位置移动到另一个位置｡
‫ETL管道是指数据工程师提取所有这些系统生成的数据｡
‫他们提取数据, 然后当他们提取数据时, 他们转换｡
‫将数据转换成有用的形式, 即转换成可以加载到数据仓库中的形式｡
‫所以他们提取数据｡
‫它们转换数据｡
‫他们将数据加载到类似数据仓库的地方, 以便公司的其他部门可以使用这些数据｡
‫他们使用Python､ Go Scala和Java等编程语言来完成这些ETL作业或提取转换负载｡
‫这是第一个任务｡
‫第二个是什么？
‫第二个是建立分析工具｡
‫您可以帮助我们了解公司系统的工作方式｡
‫数据工程师需要确保当系统的任何部分发生故障时, 我们都会得到通知｡
‫因此, 数据工程师允许数据科学家､
‫数据分析师､ 商业智能人员使用工具来分析数据, 同时确保他们部署的系统正常运行｡
‫最后, 他们的第三个主要任务显然是维护数据仓库和数据湖｡
‫这就是确保公司的其他部门可以访问其中的所有内容｡
‫现在, 我们对数据工程师的工作有了一个高层次的概述｡
‫我想谈谈一些你们在业内肯定听说过的工具, 比如Hadoop､
‫Kafka､ Apache､ Spark, 所有这些术语都很难理解｡
‫我将试着给予你们一个关于这一领域的概述, 以便下次有人问你们, 嘿, 我们应该使用Hadoop吗？
‫Hadoop是干什么用的
‫我们需要卡夫卡吗？
‫你会回答的｡
‫在这门课之后, 你可以自己去学习使用这些工具, 如果它们在你的工作中遇到的话｡
‫现在, 这种情况正在迅速改变｡
‫有新的工具弹出左, 右和中心｡
‫所以我给你们的建议是, 我在接下来的几个视频中要向你们展示的内容,
‫你们不要认为是所有数据工程师必须知道的｡
‫相反, 知道它们的存在｡
‫去阅读他们的一些文档, 一些在线信息, 但只有在需要时才学习或使用它们,
‫因为它们是不断更新的｡
‫数据工程的世界现在真的是快节奏｡
‫但话虽如此, 让我们在接下来的几个视频中深入研究数据｡