‫在上一个视频中,
‫我们没有说这里的这些指标, 精确回忆率和F1得分只使用一个分裂序列测试分裂计算, 所以只使用一个计算, 但我们希望尽可能使用交叉验证｡
‫这就是我们要做的｡
‫让我们做一个小标题｡
‫我们会去的｡
‫使用交叉验证计算评估度量｡
‫好吧, 就在这里, 我们去｡
‫使用交叉验证方法计算模型的查全率和fone得分｡
‫而要做到这一点, 我们就要利用我｡
‫把这一个放在代码交叉元音得分｡
‫我们在套接字学习部分看到过这个, 交叉元音得分.
‫如果我们在这里查一下, 我们一直想查的, 交叉元音得分｡
‫上面写了什么？
‫所以它需要一个估计值, 它需要一个X, 它需要一个Y, 通过交叉验证评估一个分数｡
‫我们在这里要注意的是得分｡
‫因此, 如果我们对字符串进行评分, 调用一个字符串, 或者用签名对我们的可调用对象函数进行评分,
‫这应该只返回一个值｡
‫好的, 这就是我们要用不同指标进行交叉验证来评估模型的参数｡
‫所以我们要改变计分字符串｡
‫我们将使用最佳类型的参数设置一个新的逻辑回归模型实例｡
‫我们的最佳参数类型是什么？
‫我们来检查最佳超参数, 因为我们希望建立一个最佳模型, 然后使用交叉验证对其进行评估｡
‫Jess Log钻机点最佳参数｡
‫好极了｡
‫现在我们要创建一个分类器, 到这里, 用我们找到的最佳参数创建一个新的分类器｡
‫所以CLF等于物流｡
‫回归见等于｡
‫你要把它抄下来吗？
‫好极了｡
‫哦, 不好意思
‫我忘了零｡
‫这是一个很长的数字｡
‫然后Solver跟注｡
‫同样, 如果您已经完成了自己的高参数调整并找到了一些更好的参数, 这些参数可能会有所不同｡
‫不过, 我们暂时就这样了｡
‫好极了｡
‫现在, 我们已经实例化了一个具有最佳高参数的模型｡
‫让我们使用交叉元音得分和评分参数来获得一些交叉验证的度量｡
‫所以我们做什么, 我已经忘记了｡
‫到这里来｡
‫我们要计算一下｡
‫是的, 我们走吧｡
‫所以我们需要准确性｡
‫到这里来｡
‫交叉验证准确度｡
‫所以我们可以做四个单元格, 这里是交叉验证精度｡
‫交叉验证召回｡
‫然后交叉验证｡
‫如果一个｡
‫斯科特太棒了｡
‫那就这么办吧｡
‫所以我们要去CVAC, 它代表交叉验证准确性｡
‫等于交叉元音得分, 我们将把它传递给分类器, 我们刚刚在这里实例化了｡
‫我们将传递所有的X数据,
‫因为我们现在可以, 因为我们使用了交叉元音得分和所有的Y数据, 我们将把CV设置为5, 我们将把得分设置为准确性｡
‫真漂亮｡
‫然后我们来看看CB方舟是什么样子的, 我们可以看看它的主要部分, 因为记住, 它做了什么？
‫它对我们的模型进行了五次不同的拆分评估｡
‫所以如果我们取它的平均值｡
‫好吧, 我知道了
‫这将得到这五种不同分裂的平均准确度｡
‫那就这么办吧｡
‫所以我们去MP点主存一个｡
‫好极了｡
‫这就是准确性｡
‫所以我们可以保存它｡
‫实际上, 您可以重写我们的值, 然后我们保存｡
‫真漂亮｡
‫现在让我们用同样的方法来处理其他的｡
‫我们去这里｡
‫我们可以复制这里的代码｡
‫同样, 您不希望养成复制代码的习惯｡
‫我们真的应该这样做, 但我们只是要继续滚动与拳头｡
‫我们现在所做的函数是这样的, 我的意思是,
‫因为我们在整个过程中都在做相对相似的计算, 我们可以把它变成一个函数, 这样就有一个精度可以覆盖它,
‫使精度等于MP平均值｡
‫然后再看一遍｡
‫好极了｡
‫然后我们可以做同样的事情, 除了回忆｡
‫我们可能要做的是, 当你掌握指挥权的时候, 在这里加空格｡
‫你可以在这里写些诅咒｡
‫所以如果我们把这一切都换成回忆｡
‫哈哈哈!
‫快乐的日子｡
‫你看那个｡
‫我有五个诅咒在召回｡
‫好极了｡
‫回忆分数不错｡
‫也进行了交叉验证｡
‫我们可能会对EF 1做同样的事情｡
‫我们走到这里, 我们要把所有这些坏男孩变成f一｡
‫我们走吧｡
‫我们可以在这里加一点香料, 这样我们的代码看起来就像是复音的｡
‫好极了｡
‫好吧, 我会的
‫现在, 我们已经得到了老板要求的所有这些交叉验证指标｡
‫让他坐在一张漂亮整洁的小桌子上, 像我们所有其他有价值的员工一样, 坐在一个Jupyter笔记本里,
‫这真的不太好｡
‫这是我们的分类矩阵, 在演示文稿中看起来很不错｡
‫你知道, 这是一些人可以看到和去, 是的, 我可以看到这个价值是相当高的｡
‫我能看到这里发生了什么｡
‫让我们做同样的事｡
‫而不是把它们都分散开｡
‫让我们把它画成一个图表或者一个形象化的东西｡
‫因此, 我们可以将经过交叉验证的指标可视化｡
‫因此, 我们将创建“保存矩阵”作为数据框｡
‫我的意思是, 是的, 我们可能真的应该功能化这开始, 但这是正确的｡
‫有时候你必须要通过｡
‫老式的方法, 然后意识到你哪里出了问题, 看看你如何可以改善它｡
‫也许这是一个小的延伸｡
‫你可以试试自己, 看看你能不能正常工作｡
‫我们在这里做的一些事情, 可能只是使用不同的指标交叉验证X和Y,
‫并将其全部放入一个漂亮的小演示文稿中｡
‫这将是一个很好的做法｡
‫保存召回｡
‫然后我们得到f一, 这就是我们f一简历
‫好极了｡
‫我们需要设置一个等于零的索引｡
‫观的, 哦, 那我们就可以创建一个情节, 保存一个矩阵｡
‫我以前做过这个｡
‫剧透一下, 所以我知道我得换个位置｡
‫条形标题等于交叉验证的分类矩阵｡
‫而且我们要一个传说新的我们不假｡
‫让我们看看这是什么样子｡
‫真漂亮｡
‫我们在这里加一个分号｡
‫我们走吧｡
‫所以也许我们可以把这些数字加起来这样人们就能知道它们是什么了｡
‫但我们看到我们的模型在召回方面做得很好｡
‫同样, 我们可以添加来自随机森林模型､
‫K近邻分类器或任何其他在实验阶段尝试过的分类模型的交叉验证结果｡
‫记住, 这个实验阶段是一个迭代的过程, 对吗？
‫只是在这里来来回回｡
‫所以我们可以把它加到这里, 看看哪个模型表现最好｡
‫但现在我们坚持使用逻辑回归, 这看起来像是我们可以分享的东西｡
‫那我们现在还剩下什么？
‫好吧, 让我们回到我们写下的地方, 我们已经勾选了什么｡
‫我们把一切都勾上了吗？
‫我们的老板要求的事情, 我们以前不知道怎么做的事情｡
‫但现在我们看到了他们的行动｡
‫哇哦｡
‫好吧, 我会的
‫所以我们有｡
‫交叉验证精密度召回是｡
‫分类Report tic rc曲线tic曲线下的区域混淆矩阵｡
‫是的｡
‫这里我们忽略了功能的重要性｡
‫嗯嗯嗯
‫好的, 让我们看看下一个视频中我们是如何强调重要性的｡