‫好吧, 我会的
‫在上一个视频中, 我们了解到数据工程师实际上是为我们创建了这个数据管道,
‫让数据科学家这样的人有可用的数据来工作｡
‫但我想用一个不同的例子｡
‫我们假设Keiko公司 有一种需求, 这种需求就是水
‫员工们需要水｡
‫努力工作, 对吧？
‫我们可以把这个问题看作是数据工程师解决的问题｡
‫听我说｡
‫我们会用几分钟时间来讨论水, 但我保证它与数据有关｡
‫你看, 我们得到水的第一件事就是降雨率｡
‫我们需要雨｡
‫这和我们的数据源很相似｡
‫那就是网站, 移动的, 摄像头, 汽车, 无人机｡
‫所有这些都在收集数据｡
‫那就是雨滴的作用
‫所以为了让我们的员工能得到水, 我们必须从某个地方取水｡
‫这些水来自雨水｡
‫接下来, 这些水被收集到不同的溪流和河流中, 来自世界各地, 就像来自不同地方的数据一样｡
‫这些水流开始形成｡
‫然后呢？
‫这些溪流变成了湖泊｡
‫它们都流入某种湖泊｡
‫而那片湖是静止的｡
‫但同样, 我们作为一个公司只是想从员工那里得到水｡
‫很明显, 我们有一个湖上的大坝, 湖上的大坝或者一个利用湖的系统｡
‫我们把这些水输送到一个类似于过滤卫生区的地方, 这样我们就可以对水进行清洁和消毒, 这样人们就可以安全地饮用了｡
‫所以我们对收集到的水进行处理｡
‫最后, 在这一切之后, 我们创造了所有的管道和管道, 我们把水送到惠子公司｡
‫这就是我们如何满足KeyCorp的需求, 为他们的员工提供水｡
‫这就是数据的工作原理｡
‫而这正是数据工程师所构建的｡
‫数据工程师｡
‫从我们所说的数据接收开始｡
‫即从各种来源获取数据｡
‫我们获取所有这些不同来源的数据, 并将其吸收到我们称之为数据湖的地方｡
‫数据湖是将所有这些数据集中到一个位置的集合｡
‫从那里, 我们可以让湖保持原样｡
‫但有个问题｡
‫我们不希望湖水泛滥, 干涸｡
‫我们得想办法管理好这个湖｡
‫我们可不想淹没村子｡
‫我们需要水坝｡
‫我们需要水管到房子里｡
‫我们需要过滤和清洁水, 我们需要管道到房子｡
‫因此, 在我们从各种来源摄取这些数据后, 我们将其收集到一个数据湖中｡
‫然后, 我们执行数据转换, 将数据从一种格式转换为另一种格式,
‫通常转换为我们称为数据仓库的东西｡
‫数据仓库是存储对业务有用的可访问数据的地方｡
‫也就是说, 尽管这个湖收集了这么多的水, 这么多的数据, 这是一种到处都是｡
‫数据工程师查看这些数据, 形成或使用数据中有用的部分, 并将其放入数据仓库,
‫以便业务的其他部分可以再次使用它｡
‫一个很好的思考方式是, 数据湖是原始数据的池｡
‫我们仍然不知道在数据仓库中如何处理的目的是一个位置, 用于存储经过处理并具有特定目的的结构化､
‫过滤的数据｡
‫也就是说, 我们这里有对业务有用的数据｡
‫这就意味着数据湖通常没有像数据仓库那样的组织结构, 数据过滤也较少｡
‫为什么企业要这么做呢？
‫首先, 当数据被组织在一口井中时, 分析数据要容易得多｡
‫我们也可能在这里有我们并不真正需要的数据｡
‫我们还保存了存储空间, 对吗？
‫因为我们不必存储所有这些数据, 而只需存储仅对我们有用的结构化数据｡
‫我们也为自己节省了一些钱｡
‫因此, 回顾数据工程师,
‫只需构建数据创建和数据捕获的管道, 使用数据工程实践来构建此管道, 以便数据科学家和数据分析师现在可以分析数据｡
‫但我们还有一点要做｡
‫所以我们在下一个视频中再见｡