‫好吧, 我会的
‫那么, 数据工程师实际上是做什么的呢？
‫让我们从三个重要的词开始, 在我们真正理解数据工程师的工作之前, 我们需要理解这三个词｡
‫是的, 我知道｡
‫我一直在数据工程师身边打转, 我一直让你兴奋不已, 但我保证我们真的, 真的很接近了｡
‫我们只需要讨论一下这三个你可能听说过也可能没听说过的词｡
‫一种是数据挖掘, 数据挖掘简单地说就是对数据进行预处理, 从数据中提取一些知识｡
‫所以我们用一些数据来提取知识｡
‫这就是数据挖掘｡
‫大数据？
‫这意味着我们有大量的数据, 大量的变量, 大量的数据, 事实上,
‫你无法在笔记本电脑上运行｡
‫您的笔记本电脑或计算机无法容纳太多的数据｡
‫通常, 当我们谈论大数据时,
‫它是指如此之大的数据, 以至于你需要在云计算或多台计算机（如AWS Azure和Google Cloud）上运行它, 因为它们有很多计算机和大量存储来存储这些数据｡
‫这就是大数据的原因, 大数据是指通常无法在一台计算机上拥有的数据｡
‫这通常是因为数据集变得太大了｡
‫我们现在有数PB的数据｡
‫因此, 如果数据库只是一台机器, 那么仅将数据存储在MySQL､ post
‫grass或任何类型的数据库中就变得非常困难｡
‫现在, 我们发明了一些新的技术来解决大数据的问题, 比如Hadoop和NoSQL, 我们将讨论这些｡
‫数据管道本质上是数据工程师构建的管道, 主要是利用我们拥有大量数据的事实,
‫我们需要使用数据挖掘从这些数据中提取信息｡
‫因此, 我们需要引入或构建一个管道, 使我们能够从未知的大量数据流向一个管道,
‫将数据提取为更有用的形式｡
‫因此, 数据工程师实际上是在创建一个数据管道, 其中包含不同设备（如物联网设备､
‫移动的应用程序､ 网络应用程序､ 相机､
‫汽车以及几乎所有收集数据和存储信息或将数据记录到服务器或云的设备）的所有信息｡
‫数据工程师基本上是将所有这些信息累积到打包好的数据库和存储引擎中, 以便公司的不同部门可以创建可视化,
‫他们可以监控产品的性能,
‫他们可以从这些数据中获得业务见解并做出业务决策, 甚至可以在他们的应用程序中使用这些数据｡
‫例如, 在数据科学家或机器学习专家, 甚至是商业智能或数据分析师被大公司雇佣之前,
‫用户档案｡
‫在完成所有这些工作之前, 他们需要做的是雇佣一名数据工程师｡
‫他们建立了管道, 使我们能够作为数据科学家工作｡
‫请记住这张图, 以及我们是如何关注这一部分的｡
‫数据工程师允许我们进行数据收集｡
‫他们带来了所有这些信息, 并以一种方式组织起来, 以便我们进行数据建模｡
‫他们在数据收集方面确实帮助了我们, 通常作为一名机器学习工程师或数据科学家, 你不必太担心｡
‫但你知道吗？
‫我最喜欢的关于数据工程师的演示将在下一个视频中展示｡
‫我希望你很兴奋, 因为事情将开始变得越来越有意义｡
‫那我们回头见｡
‫再见, 再见, 再见