‫现在我们已经调整了逻辑回归模型的超参数, 它在这里得到了很好的分数｡
‫但是请记住这个分数, 分类器的默认分数是准确性｡
‫我们现在要做的是围绕我们的模型创建一些评估指标, 这些指标的准确性稍高一些｡
‫更具体地说, 让我们创建我们的调优机器学习模型｡
‫实际上,
‫机器学习分类器可能是更好的一种, 因为这些评估指标是特定于分类的, 所以我们将超越准确性｡
‫因此, 再一次, 更具体地说, 我们需要ROC曲线和AUC评分｡
‫我们还需要一个混淆矩阵｡
‫我把一对4放在那里, 看起来像是矩阵中的一对4, 上面有很多数字｡
‫你知道, 流动的绿色屏幕｡
‫我们要一份分类报告｡
‫我们还想要什么？
‫我们需要精确的回忆率和一分｡
‫那就太好了｡
‫如果在可能的情况下使用交叉验证, 那就太好了｡
‫所以让我们把它变成减价｡
‫这就是我们要做的｡
‫我们将使用经过调整的网格搜索､ 逻辑回归模型以及最佳参数类型｡
‫我们马上就能看到它们在哪里发挥作用｡
‫所以首先, 当我们评估一个模型时, 它总是比较我们训练好的模型的预测与真值标签的比较｡
‫所以我们要做的就是先做一些预测, 这样我们就可以把它们和真值标签进行比较｡ k､
‫a Y测试数据集中的标签｡
‫那就这么办吧｡
‫好吧, 在这里写一个注释来进行比较和评估我们的训练模型｡
‫首先, 我们需要做出预测｡
‫我们要做的是用调整后的模型进行预测, 我们可以使用一个漂亮的函数predict, 将其保存到Y点差中, 我们使用GS
‫log rig, 它是网格搜索模型的训练版本｡
‫所以GS测井仪无法预测, 我们将根据测试数据预测Preds Wonderful的原因｡
‫让我们看看他们只是为了确保我们没有疯掉, 美丽的｡
‫现在我们需要将它们与测试数据集进行比较｡
‫我们来看看这个｡
‫好吧, 我会的
‫所以如果我们想去零零, 我们可以知道它把这个弄错了, 因为这里应该是零, 因为这里是真值标签,
‫然后我们可以继续去那里, 但我们不打算这样做｡
‫我们想用一些代码来实现这一点｡
‫首先, 我们需要一个岩石曲线, 因为记住我们有一个小列表｡
‫因此, 岩石曲线和AUC评分｡
‫嗯嗯嗯
‫什么是岩石曲线？
‫好吧, 如果我们查一下｡
‫那么什么是岩石曲线呢？
‫我们经历了这个过程｡
‫因此了解AOC Roc曲线｡
‫所以如果我们通读这个｡
‫我们将得到的是岩石曲线是通过在各种阈值设置下绘制真阳性率与假阳性率来创建的｡
‫OC美丽｡
‫让我们来看看我们是怎么做到的｡
‫岩石曲线是一种通过比较真阳性率与假阳性率来了解模型性能的方法｡
‫如果我们想弄清楚什么是真阳性和假阳性, 我们可以看看我们的混淆矩阵｡
‫所以真阳性模型在事实为1时预测为1, 而假阳性模型在假设事实为0时预测为1｡
‫一个完美的模型会得到一个AUC分数｡
‫我们在1秒内看到的｡ 0.
‫让我们来看看我们是怎么做到的｡
‫因此从天际线点阵导入RC曲线函数｡
‫这就是它的来源｡
‫它就住在那里｡
‫但实际上我们已经完成了这一步, 就像我们在顶部使用的所有其他行函数一样｡
‫就在后面｡
‫这就是模型评估, 在下一节, 下一段视频中, 我们将从这里开始讨论所有问题｡
‫这里我们可以看到网格搜索的随机搜索, 关键混淆矩阵图曲线, 这是我们将要使用的精确度得分, 召回率得分,
‫F1得分｡
‫这些是我们的分类模型｡
‫我们下去吧｡
‫我们可以保存一行代码｡
‫我们实际上不需要导入它｡
‫我们马上回来｡
‫我们可以走了｡
‫绘制Roc曲线｡
‫现在, 这是一个相对较新的精神贷款库, 我非常, 非常高兴,
‫因为通常你不得不写这些自己｡
‫这个函数, 这个绘制曲线并计算它实际上为我们计算了AUC指标｡
‫曲线下的面积指标, 让我们来看看它的实际情况｡
‫我要画ROC曲线｡
‫她就像格雷格｡
‫如果我们在文档中查找它, 它会告诉我们它是做什么的, 传递给它一个估计,
‫这是我们的机器学习模型帕萨特, 帕萨特y绘图接收器, 操作特性, 精确曲线｡
‫这就是这就是我们要做的｡
‫真漂亮｡
‫因此, Jes log rig x test, 我们希望它在测试数据集上执行此操作｡
‫始终评估｡
‫这个应该算｡
‫始终在测试数据集中评估机器学习模型, 让我们看看｡
‫哦, 漂亮｡
‫好的, 记住我们在之前的视频中看到的一个完美的岩石曲线｡
‫我们走到这个弯角, 然后像这样穿过, 但是泰德已经爬得很高了, 那么我们就得到了曲线下的一个区域｡
‫所以如果我们计算所有这些面积在0以下｡ 93, 当然一个完美的模型会达到1｡ 0.
‫所以我们的模型并不完美, 但它的AUC分数为0｡ 93时的平均值而已｡
‫抛硬币的结果基本上是0｡ 5.
‫所以我们正在接近一个完美的模型｡
‫对于一个刚从盒子里出来的模型来说还不错｡
‫好吧, 我会的
‫接下来我们要做的是混淆矩阵｡
‫让我们来看看｡
‫所以混淆矩阵｡
‫我们怎么能这样做呢？
‫所以我觉得这就像龙有一个功能, 我不认为我知道｡
‫所以就像它单独有一个功能｡
‫我们可以使用混淆矩阵, 我们希望将地面真实值标签与预测标签进行比较｡
‫好吧, 我会的
‫我们可以就这样算了｡
‫有点平淡｡
‫我们可以使用来改善这个混淆矩阵的可视化｡
‫海运｡
‫这就是我们想要的｡
‫所以我们要去｡
‫我相信我们这里已经有海运了｡
‫是的, 我知道
‫我们打喷嚏吗？
‫是的, 我们有｡
‫我们以前在这个项目中使用过Seabourn, 所以我们可以去｡
‫我可能会提前知道我们需要更大的字体｡
‫因此字号等于1｡ 5.
‫这只是没有点集｡
‫现在, 我们要在这里创建一个小函数, 如果我们想创建另一个混淆矩阵的话｡
‫因为通灵者学习混乱, 矩阵功能没有达到标准, 因为是制作这个视频｡
‫你总是可以的｡
‫也许这是一个拉取请求的机会｡
‫所以我们走这里｡
‫漂亮又简单｡
‫所以我们要通过它｡
‫这个功能, 我们测试一下｡
‫标签和我们预测的标签｡
‫然后我们要创建一个漂亮的图, 一个漂亮的混淆矩阵, 用C键｡
‫我们以前见过这种情况｡
‫热图｡
‫好极了｡
‫那就想想吧｡
‫X等于plt点子图图大小等于330转移到触发快乐再次x等于sas热图｡
‫好极了｡
‫我们要传递给它, 心灵学习函数, 混乱矩阵, 测试, 预测｡
‫然后我们要在这里加一个不那么注解的｡
‫好的, 谢谢｡
‫注解相等true｡
‫我们选择C Bar, 因为我们不想选Calabar,
‫因为我看过Calabar, 它在混淆矩阵PLT点x标签上看起来不太好.
‫真标签, 然后我们会有plt y标签, 然后是预测标签, 让我们看看｡
‫所以我们要画出comp格式的混淆矩阵, 测试y的传播｡
‫哦, 不, 不｡
‫我们都做了些什么？
‫字体大小｡
‫也就是说, 阿阿方索错了｡
‫这是什么标签？
‫哦, 规模｡
‫我们走吧｡
‫标签自动完成的去是经典的, 它给我们这个小切断的东西在这里, 所以我们可以解决这个问题｡
‫我相信通过从下往上, 它会变成X点, 得到y点, 是的｡
‫然后我们要去斧头设置, 威廉｡
‫把它弄得漂亮一点｡
‫威廉这将是最低等级, 0 5顶-0｡ 5.
‫现在, 当然, 如果你的混淆矩阵看起来不错, 你可能不需要这些线条,
‫但这并不重要｡
‫我们走吧｡
‫我们可能会看起来更好一点｡
‫所以你可以看到模型变得混乱了｡
‫因此预测错误标签在两个类中相对相同｡
‫所以本质上, 这里有四种情况, 模型预测为零｡
‫预测标签预测某人没有心脏病, 而他们应该被预测为心脏病｡
‫所以这是一个假阴性｡
‫所以它预测的是0而不是1｡
‫假阴性｡
‫请记住, 当我们回到这里, 假阴性模型预测的是0, 而事实是1｡
‫这里是假阳性｡
‫这么一｡ k､ 我们这里有三个例子, 一个模型预测了一个, 某人确实有心脏病,
‫而他们实际上没有｡
‫你可以看到这两件事都是我们想要避免的｡
‫好吧, 我知道了
‫特别是当我们想到像心脏病这样严重的疾病时, 甚至预测它什么时候不存在｡
‫所以这里, 如果我们预测为零｡
‫所以没病的时候它就在场｡
‫好吧, 那就糟了｡
‫但同时预测它在那里, 而实际上它并不在那里, 这也是不好的｡
‫所以, 在构建此类模型时, 这是必须考虑的问题｡
‫是假阴性更糟还是假阳性更糟？
‫再一次, 一个完美的模型不会有这些, 但在现实中,
‫你可能会在这里和你的模型有一些混淆｡
‫你不会去理想化, 这些将是完美的在这里, 在线｡
‫现在我们已经做了一个混淆矩阵｡
‫我们已经得到了｡
‫我们可以和老板分享｡
‫这是ROC曲线
‫接下来呢？
‫分类报告｡
‫好吧, 我会的
‫如果在可能的情况下使用交叉验证, 那就太好了｡
‫好吧, 我会的
‫这就是我们在下一个视频中要处理的内容｡