‫欢迎回来｡
‫我们刚刚讨论了一个公司如何使用数据的整个流程｡
‫但我还想再讲几件事, 因为现在我们刚刚讨论了水, 这是如何应用的？
‫数据工程师实际使用的工具是什么？
‫好吧, 你可能听说过类似的东西｡
‫卡夫卡, 我们稍后再谈卡夫卡｡
‫而是像收集这些数据流并把它们放进一个数据湖｡
‫例如, 卡夫卡或阿帕奇·卡夫卡可能会为数据湖做些什么｡
‫这些只是公司可以使用的程序｡
‫例如, 您可能听说过Hadoop､ Amazon S3或Azure数据湖｡
‫这些程序是由工程师构建的, 用于保存大量数据, 就像数据泄漏一样｡
‫对于我们的数据仓库, 我们有像Google､ BigQuery､ Amazon､ Redshift, 甚至Amazon､ Athena这样的工具｡
‫这些数据仓库允许工程师进行查询或分析这些结构化数据｡
‫现在我知道你在想什么了｡
‫在整个系统中, 谁在做什么？
‫我们已经了解到, 数据工程师为我们创建了整个系统｡
‫他们使用不同的工具和程序来摄取数据, 然后将其放入数据湖或数据仓库｡
‫所以作为数据科学家和机器学习专家｡
‫您使用哪些数据？
‫暂停视频, 思考一下｡
‫准备好了答案｡
‫大多数情况下, 你都在处理一个数据湖｡
‫因为请记住, 如果你在做机器学习, 你拥有的数据越多越好, 对吗？
‫通过机器学习, 您可以使用结构化或非结构化数据｡
‫所以你可以进入一个数据湖, 实际上抓取一堆数据用于你的模型, 无论它们是CSV格式还是任何其他格式｡
‫通常数据仓库被婴儿､ 商业智能､
‫商业分析师或数据分析师用来进行可视化或分析数据｡
‫因为数据仓库通常比数据泄漏时有更多的结构化数据被清理出来｡
‫这样更容易理解和使用数据获取信息｡
‫现在, 作为一名数据科学家, 您可以使用来自数据仓库的数据｡
‫这不仅仅是一个规则, 通常你会使用任何对你有用的数据｡
‫但这是一个很好的思考方式, 一个数据科学家使用尽可能多的数据, 尽可能多的有用数据｡
‫而像商业智能人员或数据分析师这样的人已经有了数据工程师的数据清理过程, 并使用像数据仓库这样的东西来分析数据｡
‫而谷歌的大查询正是如此｡
‫它允许没有太多工程经验或编程经验的人分析数据仓库中的数据｡
‫另一种思考方式是这样的通常是软件工程师, 软件开发人员,
‫应用程序开发人员, 移动的开发人员, 他们开发用户和客户使用的程序和应用程序, 并发布数据｡
‫然后, 数据工程师将为我们构建这种管道和管道, 以便我们摄取数据并将其存储在不同的服务中, 如Hadoop､ Google､
‫BigQuery, 以便其他业务部门可以访问这些数据｡
‫接下来, 我们有使用数据湖的数据科学家, 以及提取信息并提供某种商业价值的数据科学家｡
‫最后, 我们有数据分析师或业务智能, 他们使用数据仓库或结构化数据等工具来获取业务价值｡
‫我希望, 当你听到所有这些标题在行业中有一点清晰的画面｡
‫现在, 这个行业正在快速发展, 肯定有一些重叠｡
‫有时候, 一个职位描述可能会说的与另一个不同｡
‫但这些都是通用的､ 简化的规则, 你可以用它们来理解每个角色在公司中的作用｡