‫嘿, 我是安德烈, 给你个小提示｡
‫现在, 在接下来的几个视频中, 丹尼尔将向大家展示他的机器学习工作流程｡
‫他要做的一件事是, 清理数据, 转换数据, 并对数据进行各种操作｡
‫现在, 我想让大家从更高的层次了解一下, 因为当我们使用Jupyter笔记本电脑时, 它可能会变得非常混乱｡
‫这几乎就像我们在做一堆步骤, 而不理解为什么｡
‫但我想在这里退一步, 了解为什么我们要做我们要做的事情, 在接下来的几个视频中,
‫你会看到作为一个数据科学家｡
‫数据越多, 不一定就越好｡
‫我的意思是, 是的, 通常我们拥有的数据越多, 我们需要处理的数据就越多｡
‫但在一天结束的时候, 我们可以有完全无用的数据｡
‫我们只需要有用的数据, 这样我们就可以得到真实的结果, 我们可以采取真正可行的步骤｡
‫我们将看到Danielle做的是在我们创建机器学习模型之前完成这一步｡
‫你看, 我们要跑这一步｡
‫清理数据､ 转换数据和减少数据｡
‫我们来谈谈这个吧｡
‫为什么我们需要清理数据？
‫我们要删除和替换数据｡
‫因为有时候数据会丢失, 对吧？
‫我们可能会有缺失值､ 缺失标签的表｡
‫这对我们没有帮助, 也不会让我们建立正确的机器学习模型｡
‫因此, 我们通常会删除一行或一列空白或缺少字段的内容, 或者我们可能会计算某种平均值｡
‫如果我们这样做, 房价将填补一个空白的价格清单, 也许一个平均的房子｡
‫您甚至可能会注意到数据中的一些异常值, 并将其删除｡
‫接下来是数据转换｡
‫你看, 计算机并不真正理解概念, 对吧？
‫大多数时候, 计算机只能理解1和0｡
‫只是数字, 真的, 为了让我们教计算机｡
‫大多数时候, 我们希望将数据转换成计算机可以理解的某种形式｡
‫所以我们接下来要看到的是丹尼尔把我们的一些信息转换成数字｡
‫你可能会有像房价或薪水这样的数字, 我们很容易用它们来建立模型,
‫因为计算机很容易理解数字｡
‫但它可能会发现很难知道什么是颜色｡
‫什么是绿色？
‫什么是蓝色？
‫计算机不懂这个｡
‫相反, 我们把颜色转换成数字, 就像我们的gbps颜色一样, 这样计算机就能理解了｡
‫我们转换数据的一个好方法通常是在0和1之间, 比如你有心脏病还是你不知道？
‫心脏病为零｡
‫心脏病就是其中之一｡
‫我们必须确保所有数据都使用相同的单位｡
‫也许一个数据使用米, 另一个数据使用码｡
‫这种将数据转换成有用形式的想法真的非常非常困难, 它只是随着实践而来｡
‫但你会看到丹尼尔如何转换数据, 使其越来越可行｡
‫一旦我们清理了数据, 转换了数据, 下一步就是减少数据｡
‫为什么要减少我们的数据？
‫难道我们不需要尽可能多的数据吗？
‫理论上是的｡
‫但要记住, 一切都要花钱｡
‫我们拥有的数据越多, CPU就越多, 我们运行计算所需的能量就越多｡
‫因此, 如果我们能够在更少的数据上获得相同的结果, 这实际上可以节省我们的资金｡
‫它为公司节省了资金, 特别是像谷歌这样拥有大量数据和运行大量CPU的大公司｡
‫有时数据约简的思想也可以称为维数约简｡
‫或列还原｡
‫您可以在表上有许多列, 但这会使操作非常非常慢｡
‫因此, 您实际上可以删除一些列, 这些列可能与您的机器学习模型无关, 也不需要｡
‫这些都是丹尼尔将要经历的事情,
‫但我希望你们记住, 作为一个数据科学家, 你不能想当然地认为你拥有的所有数据都是完美的｡
‫你得清理一下｡
‫你必须改变它｡
‫你必须减少它｡
‫这种处理数据的想法, 把数据转换成对你有用的形式, 是技能的一部分｡
‫所以, 看着丹尼尔这样做, 并在这一过程中学习｡
‫下次见｡
‫再见｡