‫好吧, 我会的
‫你成功了｡
‫看看我们走了多远｡
‫我们已经覆盖了通灵借阅图书馆的绝大部分内容, 我们仍然会完成它｡
‫我们到了最后一部分, 把所有的东西都放在一起｡
‫我们经历了一个端到端的工作流程｡
‫我们已经了解了如何准备好数据｡
‫我们已经看到了如何为我们的问题选择正确的机器学习模型｡
‫我们对数据进行调整｡
‫我们用它来做预测｡
‫我们评估了一个训练过的模型｡
‫我们改进了一个训练过的模型｡
‫我们已储存并加载火车模型｡
‫现在让我们把所有这些结合起来, 所有这些｡
‫我们能做到吗？
‫现在, 让我们做一个小标题7｡ 0, 将所有这些放在一起｡
‫第一件事｡
‫给予自己一点拍拍背, 因为我们已经涵盖了很多, 到目前为止, 它似乎是所有的地方,
‫它是｡
‫但不用担心, 这就是机器学习项目通常的启动方式｡
‫有一大堆不同的实验和代码到处都是｡
‫一旦你找到了有用的东西, 完善的过程就开始了｡
‫那么, 这个炼制过程又会是什么样子呢？
‫好吧, 让我们用记住我们的好旧车销售回归问题, 一｡ k､ a.一个 预测汽车的销售｡
‫我们将以此为例, 整理一下, 我们将使用CI工具包贷款｡
‫让我们看看CI工具包学习管道来整理东西｡
‫我们将使用管道类｡
‫现在, 您可以将Pipeline想象成一种将多个不同的循环贷款流程串在一起的方式｡
‫就像写函数一样, 对吧？
‫你得到了几个不同的步骤, 你把它们放在一起｡
‫变压器管道与决赛矿工｡
‫所以Transformer或transform是宜家转换数据, 让数据做好准备｡
‫然后进行最后的估算估算｡
‫请记住, 在精神贷款的术语是一个机器学习模型｡
‫作为刷新, 这是我们的汽车销售数据, 有1000行, 这里有一些缺失的数据｡
‫对不对？
‫所以这里有缺失｡
‫这里不见了｡
‫我们尝试做的是用颜色里程表门来预测汽车的销售｡
‫现在, 再一次, 这些数据是不完美的, 因为你能做到吗？
‫你能搞清楚吗？
‫如果有足够的时间, 你可能实际上需要更多的参数, 更多的细节之前, 你可以计算出多少钱,
‫他们会出售的汽车｡
‫所以我们别再谈这个了｡
‫首先, 我们将重新导入数据｡
‫所以去pd读见为v｡
‫别说了
‫我们已将其保存在数据文件夹中｡
‫汽车销售超期或无数据文件夹则不上链｡
‫我想要汽车销售｡
‫我们走吧｡
‫缺少汽车销售扩展数据｡
‫这就是我们想要的｡
‫然后我们再看看｡
‫我们会快速浏览一下｡
‫好极了｡
‫所以这只是报道｡
‫CSV文件｡
‫你回来
‫现在就去
‫我们说什么来着？
‫我们说过要使用这些列｡
‫所以这四个栏目要预测价格栏目｡
‫我们将了解一下数据类型｡
‫所以我们有make, 它是一个字符串对象｡
‫它们是物体的颜色｡
‫这是一个字符串｡
‫我不希望我们的门在价格上, 这是我们已经谈到门是一个类别, 以及｡
‫里程表是我们的数字列｡
‫你还记得我们必须为数据做些什么吗？
‫我们必须确保它都是数字格式的, 然后才能在上面建立机器学习模型｡
‫在我们建立机器学习模型之前, 还有一个小障碍, 那就是如果我们去,
‫是, 是, 是, 空, 一些我们的一些列中有空值, 而所有我们的列中有50个缺失的数据点,
‫在每列中｡
‫所以这也是机器学习模型的一个大禁忌, 我们需要确保数据是数字的, 没有缺失值｡
‫我们回顾一下我们的主题演讲｡
‫所有数据均应为数字｡
‫这是要记住的事情, 对吧？
‫而且不应该有缺失值｡
‫好吧, 我会的
‫我们去看看
‫所以我们要做的是, 如果我们想把这些都放在一起, 我们以前做过｡
‫我们已经看到了填充数据, 我们已经看到了转换数据｡
‫但这次您要使用管道来执行此操作｡
‫所以通灵师学会了｡
‫管道的主要输入是步骤, 它是一个包含元组的列表, 元组具有步骤名称和要执行的操作｡
‫我们马上就会看到这个, 但我们只是通过它来讨论｡
‫在我们的例子中, 我们的步骤是什么？
‫首先, 我们需要填补缺失的数据｡
‫然后把数据转换成数字, 然后在上面建立一个机器学习模型｡
‫那就开始吧｡
‫我们去这里｡
‫我想做这个｡
‫所以这一切都在一个细胞里｡
‫让我们把我们必须做的步骤放在这里｡
‫脚步声｡
‫我们想在一个单元中完成所有工作｡
‫我们能在一个牢房里完成吗？
‫因为在做到这一点之前, 它花了相当多的工作｡
‫但让我们看看, 这就是我们正在做的｡
‫这是我们使用流水线的优化流程｡
‫第一步是填补缺失的数据｡
‫然后第二步是将数据转换成数字｡
‫好极了｡
‫第三步是根据数据建立模型｡
‫好吧, 我会的
‫骨折, 关节, 让手指准备好｡
‫我们开始吧｡
‫如果看起来我说得很快, 让我告诉你, 除了管道,
‫这里没有什么是我们没有讨论过的｡
‫但是, 我们在前面的视频中学到了什么, 您将能够推断, 以及阅读这里的文档,
‫到底是怎么回事｡
‫因此, 导入PANDAS是PD, 因为我们希望在一个单元中完成所有这些操作, 然后从标量合成｡
‫还记得柱式变压器吗？
‫然后从Skyline中导入管道类, 我们将在此处利用该管道类｡
‫然后从Skyline Compute导入简单和白蜡｡
‫这就是我们要用来导入数据的代码｡
‫所以把缺失的数据补上｡
‫然后从天际线点预处理｡
‫导入一个热编码器｡
‫这就是我们要把数据转换成数字的方法, 对不起, 我们要用, 把数据转换成数字｡
‫准备好数据, 这些是我们要用到的输入｡
‫下一个是模特｡
‫所以从天际线乐团｡
‫导入我们信任的随机森林使我们回归, 因为我们想让它预测一个数字｡
‫然后从skylon模型中选择导入｡
‫我们搞错了｡
‫是啊, 看起来不对劲｡
‫大家都知道我很容易打错字｡
‫列车试验分离｡
‫我们需要网格搜索CV, 因为我们以前见过网格搜索,
‫它会为随机森林攻击者搜索一些最优类型的参数｡
‫好了, 现在我们要设置random seed, 所以我们要导入numpy作为MP NP random seed 42｡
‫好极了｡
‫现在, 为了完整起见, 为了在一个单元格中完成所有操作, 我们将重新导入数据｡
‫因此, 导入数据, 我们将删除缺少标签的行｡
‫因此, 数据等于PD, 而不是CSV｡
‫我们将转到数据文件夹｡
‫这必须是字串｡
‫我去卖车｡
‫扩展缺失数据｡
‫这就是我们要找的千朵玫瑰的版本, 然后把那些缺少标签的玫瑰去掉, 我们会去数据点,
‫然后一个子集会把它设置成价格列, 因为这就是我们要预测的, 这是我们的标签, 我们会去,
‫如果是真的话｡
‫好的, 我们刚才复制了这个, 现在我们已经放弃了｡
‫包含缺少价格值的行｡
‫这么一｡ k､ a.一个 缺少标签｡
‫现在,
‫我们要做的是开始定义数据集的不同特性, 以及我们希望在该数据上执行的不同转换器流水线｡
‫那么如果我们回到这里, 我们需要做什么样的转变？
‫我们需要把颜色变成数字｡
‫我们需要在这里填充所有列的缺失值｡
‫我们需要改变我们的门, 因为它也是一个类别｡
‫我们需要将其更改为分类值｡
‫所以我们会知道的｡
‫忘了我说的关于门的事吧｡
‫让我们看看我们在代码中实际做了什么｡
‫因此, 定义不同的功能和变压器管道｡
‫所以对于我们的范畴特征, 门, 门是一个特例, 因为它已经是数字的了｡
‫分类特征等于制造｡
‫现在我们要做的是创建一个分类转换器｡
‫所以这只是意味着修改数据｡
‫为此, 我们将使用一条管道｡
‫这是我们第一次看到管道, 但管道中的步骤将是第一步｡
‫我们将使用导入程序填充缺少的值｡
‫所以这就是管道输入采取步骤的地方, 对吗？
‫一个接一个地作为元组列表｡
‫让我们来看看这一切的发生｡
‫名称为Importer, 我们将记住这是要执行的操作｡
‫所以简单的计算机策略等于常数, 然后填充值会丢失｡
‫所以你也许可以推断出这个特殊的例子中发生了什么｡
‫哪里插罪了｡
‫常数值为缺失字符串的分类特征｡
‫现在, 我们将创建一个热编码器, 然后运行一个热编码器｡
‫并处理未知的｡
‫所以列那以前没见过｡
‫我们要告诉它忽略它们｡
‫好极了｡
‫然后我们会确保我们都排好了所有的东西｡
‫所以我们需要我们遗漏了一些东西.
‫我需要检查一下我们的括号在哪里｡
‫我们这里少了一个
‫我们走吧｡
‫你看, 一半的工作是找出你漏掉的括号在哪里｡
‫然后是门功能｡
‫我们将门功能定义为门｡
‫所以同样的事情再次发生｡
‫所以我们要创建一个门变压器｡
‫门变压器等于管道｡
‫同样, 我们使用管道, 因为这一切都将在一秒钟内变得有意义｡
‫好吧, 我知道了
‫为什么？
‫我们在架设输油管｡
‫所以要做到这一点, 我们必须按｡
‫归责于｡
‫现在我们想再做一次同样的事情｡
‫简单的计算机｡
‫策略是不变的门的全部值就是用4来填充因为4是门这一列中的多数数.
‫接下来, 我们需要数字特征｡
‫因此, 我们的数字特征是里程表列｡
‫小卡
‫好极了｡
‫然后我们将创建一个数字转换器equals｡
‫我们要做的第一件事是管道步骤相等｡
‫然后, 我们需要在这里插补值｡
‫这么归罪于｡
‫简单的计算机｡
‫战略等于主要｡
‫所以这意味着它会填满数字列｡
‫在我们的例子中,
‫使用策略的里程表意味着它将获取里程表列的主值, 并使用其余值的平均值填充里程表中所有缺失的行｡
‫呼｡
‫这是很多｡
‫现在, 还没搞定｡
‫没关系, 我会的
‫我们将设置预处理步骤｡
‫所以记住我们要做什么｡
‫我们需要填补缺失的数据｡
‫这是我们预处理的一部分｡
‫这两个人在预处理我们的数据｡
‫这是数据建模｡
‫因此, 我们的预处理步骤将是填充缺失的数据, 并将数据转换为数字｡
‫所以我们可以这样做, 填充缺失的值, 然后转换为数字｡
‫因此, 为了创建一个预处理器, 我们将使用列转换器选项卡自动完成来实例化一个预处理器, 并且我们将传递它｡
‫列变压器采用变压器相等｡
‫现在这是我们要对数据进行的转换的列表｡
‫在我们的例子中, 我们有一个简称为Cat的分类词｡
‫它会传递给它范畴转换器｡
‫我们需要上面定义的转换, 分类转换器, 用缺失值填充简单计算机,
‫然后到一个hot, 编码品牌和颜色｡
‫我们希望在分类特征上执行这些操作｡
‫按tab键完成分类功能｡
‫好极了｡
‫现在我们再给它一次敲击｡
‫现在, 我们希望它执行相同的步骤, 但这次使用门变压器｡
‫它将用常数值4填充门列｡
‫这样我们就可以走户特色了｡
‫好极了｡
‫最后, 我想结束使用num转换器, 它将接受我们的数字转换器｡
‫并执行｡
‫的归罪｡
‫在数字特性上｡
‫只有一个特征时就很美｡
‫所以features作为复数大概是不正确的｡
‫现在, 我们已经完成了预处理, 数据被填充, 缺失的值被填充,
‫然后被转换成数字｡
‫利用我们在这里所做的｡
‫下一步是创建预处理和建模管道｡
‫我们可以这样做, 因为我使用了管道这个词,
‫你需要创建一个预处理和建模管道｡
‫现在, 我们要做的就是将预处理步骤与建模步骤放在一起, 因为有多个步骤,
‫所以将使用管道将它们联合收割机在一起｡
‫所以模型等于管道｡
‫传递它的步骤, 这是一个包含元组的列表｡
‫这就是名字｡
‫这是一个预处理器步骤｡
‫我们要把它传递给预处理器｡
‫所以我们的管道的第一步, 我们的模型管道, 是运行通过这个｡
‫然后是下一步｡
‫在这里加上一个逗号, 我们需要创建另一个点击｡
‫这将是我们的模型是我们的随机森林侵略者｡
‫好极了｡
‫现在, 我们已经建立了模型管道, 它将经过预处理｡
‫一旦预处理完成, 它将在其上构建一个随机森林分类器｡
‫我们可以把数据准备好｡
‫因此, 拆分数据X等于数据丢弃｡
‫我们将删除价格列, 因为这是我们要预测的列｡
‫访问权限将等于1｡
‫Y是数据价格｡
‫然后像往常一样创建x训练x测试｡
‫Y train y test等于train test, 分割xy测试大小, 我们用0｡ 2.
‫然后我们要拟合并给模型打分｡
‫这是一个模型海豚x火车y火车现在模型得分｡
‫X检验｡
‫为什么要测试？
‫哦, 我的天
‫我们哪里搞错了｡
‫处理上已知｡
‫我们有个打字错误｡
‫我们当然知道｡
‫句柄未知｡
‫我们走吧｡
‫换个说法｡
‫哇哦｡
‫我们成功了｡
‫我们利用pipeline类, 在一个单元中完成了整个管道｡
‫让我们来回顾一下我们所做的｡
‫我们导入了这些类以准备好数据｡
‫熊猫柱变压器流水线符号和周期一热编码器｡
‫我们导入了类来做我们的建模, 所以随机森林阻遏物训练测试分裂网格搜索CV｡
‫我们设置了一个随机种子, 因此我们的结果是可重复的｡
‫然后, 我们定义不同的功能和变压器管道｡
‫所以我们在这里定义了分类特征, 门特征, 数字特征｡
‫然后, 我们为每一个项目创建了几个步骤, 以便我们的流水线不仅可以插补缺失值,
‫还可以插补到一个热编码｡
‫所以把我们所有的非数字数据变成数字｡
‫然后我们设置一个预处理步骤｡
‫把我们所有的管道都弄到了这里｡
‫采取我们想采取的步骤, 在门特征和数字特征上的分类特征｡
‫然后, 我们创建了另一个管道, 将所有这些步骤放在一起｡
‫不仅要预处理我们的数据然后建模｡
‫然后我们将数据分成X和Y, 再分成训练和测试｡
‫所以当我们调用模型拟合时, 它会调用这个变量, 它会运行这个管道｡
‫它会调用预处理器步骤, 它会运行此管道, 它会运行所有这三个步骤.
‫你知道我在想什么, 丹尼尔,
‫虽然这有很多事情要做, 但是如果你回顾一下你在这里看到的, 你就可以说你可以一步一步地走过去, 好吧, 我开始把发生的事情拼凑起来｡
‫现在如果你回到我们最初做这个的地方, 用熊猫填充数据,
‫用Skylon填充数据, 然后用我们的汽车销售问题建模, 你会看到我们在很多不同的单元格上做了这个,
‫现在我们正在做这个｡
‫我们正在用55行代码构建一个完整的机器学习模型, 去掉一些注释, 如果我们对自己诚实的话,
‫我们可能会整理一下｡
‫但现在你开始看到的是在开始的时候, 机器学习在整个过程中都是非常实验性的｡
‫这是非常实验性的｡
‫所以一开始需要的只是到处编码, 尝试不同的东西, 看看它们是如何工作的｡
‫最后你可以把它简化成这样, 把它全部放进一个管道中的一个大细胞里,
‫通过你沿着想出来的步骤｡
‫当然,
‫我们可能希望使用超参数调整来改进这一点, 下一个视频将介绍如何使用与常规模型稍有不同的流水线进行超参数调整｡
‫所以休息一下, 回顾一下我们在这里做的事情, 因为这是一个很大的｡
‫如果你没有完全接受, 也不要担心｡
‫还没念完管道｡
‫看看你能不能把我们在文件里做的和我们在这里做的对齐｡
‫不然的话｡
‫下一个视频里见｡
‫我们看看能不能提高这个分数｡