‫欢迎回来｡
‫我想用一个简短的章节来介绍一个在数据科学和机器学习课程中经常被遗忘的主题｡
‫然而, 为了真正理解一个主题, 我们需要了解该主题的高层次原则和景观｡
‫在这种情况下, 我们想做一名数据科学家或机器学习工程师｡
‫因此, 我们至少需要了解数据工程的主题｡
‫但这意味着什么呢？
‫这些头衔是怎么回事？
‫数据科学家｡
‫数据分析员｡
‫数据可视化｡
‫这太疯狂了｡
‫这太令人困惑了｡
‫好吧, 让我们来谈谈数据工程, 以及它如何融入到我们一直在谈论的整个生态系统中｡
‫现在, 我们了解到, 数据科学就是利用数据来制定业务决策｡
‫对不对？
‫我们做出商业决策的方法之一是使用机器学习这样的技术｡
‫这使得计算机能够学习并找出对人类来说可能有点太复杂的问题的解决方案｡
‫又或者太乏味了｡
‫而且花的时间太长了｡
‫所以我们想让它自动化｡
‫所以机器学习是一种技术, 而数据科学是利用数据并将其转化为对产品或业务有用的东西｡
‫数据分析是数据科学的一个子集, 它允许我们分析我们所拥有的数据｡
‫但缺少的是数据工程, 并不是所有的公司都有数据工程师｡
‫但随着公司越来越大, 他们需要为这个角色招聘人才｡
‫让我们来看看原因｡
‫是谁把这些数据整理成一个小文件给我们的？
‫这些数据来自哪里？
‫我们如何管理它？
‫完事后要扔掉吗？
‫谁给这些数据贴上了标签？
‫你看, 数据科学家或机器学习专家大部分时间都不需要关心这些话题｡
‫理想情况下, 您可以访问数据, 因为这部分数据由数据工程师处理｡
‫那么这个神话人物是谁呢？
‫数据工程师会收集所有传入的数据点, 比如说, 对于一家公司, 假设这家公司拥有所有这些产品,
‫所有这些数据都来自其用户､ 安全摄像头､
‫网站和物联网设备｡
‫数据工程师会获取所有这些信息｡
‫然后生成数据并将其保存在数据库或某种类型的计算机中, 以便企业能够以有组织的方式访问这些数据｡
‫所以他们有点像图书管理员,
‫他们收集所有这些信息, 并为我们组织起来, 这样像机器学习或数据科学专家这样的人就可以使用这些数据｡
‫但这只是数据工程师工作的简化版｡
‫为了让我们真正理解这一点, 我们需要回到起点, 问一个问题：什么是数据？
‫下次见｡
‫再见, 再见, 再见