‫No último vídeo deixamos de dizer que essas métricas têm precisão, recall e
‫pontuação F1 só são calculados usando uma divisão, tentando dividir.
‫Então, eu apenas calculei usando um.
‫Mas queremos usar validação cruzada sempre que possível.
‫Então é isso que vamos fazer.
‫Vamos fazer um pequeno título.
‫Nós iremos.
‫Calcule uma matriz de avaliação usando validação cruzada.
‫Tudo bem, aqui vamos nós.
‫Para calcular a precisão, rechamar e pontuação F1 de nosso modelo usando validação cruzada e para fazer isso usaremos
‫este no Code Cross Valasco.
‫Vimos este Wantirna na seção de linha de soquete, Crossville School, e se olharmos
‫aqui, como sempre queremos fazer, Crosswell School.
‫O que isso quer dizer?
‫Então, leva uma estimativa, leva um X, leva um tempo para avaliar uma escola por validação cruzada, o
‫que queremos prestar atenção aqui é a pontuação.
‫Portanto, se obtivermos uma string de pontuação Colma, uma string ou pontuação são funções de objeto que podem ser chamadas com assinatura, que
‫deve retornar apenas um único valor.
‫OK, então este é o parâmetro que vamos usar para avaliar nosso modelo usando validação cruzada com diferentes
‫métricas.
‫Então, vamos mudar a string de pontuação.
‫Então, vamos ver que configuramos uma nova instância de modelo de regressão logística com nosso melhor tipo de parâmetros.
‫Quais foram nossas melhores hiperemeses?
‫Então, vamos verificar os parâmetros porque queremos configurar um dos melhores modelos que podemos e, em seguida, usar
‫a validação cruzada nele para avaliá-lo.
‫Programas baseados em GasLog Regg DOT.
‫Maravilhoso.
‫Portanto, agora vamos criar um classificador aqui, criar um novo classificador com os melhores parâmetros que encontramos.
‫Portanto, self é igual a logístico.
‫Regression Sea Eagles, vamos apenas copiar isso aqui.
‫Maravilhoso, opa, acertei o zero.
‫Esse é um número muito longo aqui.
‫E então Sova ele chama agora novamente, esses parâmetros podem ser diferentes se você fez sua própria sintonização de
‫alta potência e encontrou alguns melhores.
‫Mas isso servirá para nós por enquanto.
‫Maravilhoso.
‫Portanto, agora instanciamos um modelo com a melhor hiperêmese.
‫Vamos usar a pontuação Crosswell junto com o parâmetro de pontuação para obter algumas métricas validadas cruzadas.
‫Então, o que fazemos, eu realmente esqueci.
‫OK, aqui vamos calcular.
‫Sim, lá vamos nós.
‫Portanto, queremos precisão.
‫Tudo bem aqui.
‫Precisão validada cruzada.
‫Então podemos fazer quatro células e vamos aqui.
‫Precisão validada cruzada.
‫Rememoração validada cruzada.
‫E então validado cruzado.
‫Todos são maravilhosos, então vamos fazer isso para ver VEAC, que significa precisão de validação
‫cruzada.
‫A pontuação Crosswell de Eco, e vamos passar nosso classificador, que acabamos de
‫instanciar aqui, vamos passar todos os dados porque podemos agora, porque estamos usando a pontuação
‫Crossville e todos os dados Y , vamos definir o CV para cinco e definir a pontuação para ser precisa.
‫Lindo, e então vamos dar uma olhada na aparência de Sevak e podemos pegar o principal porque lembre-se, o
‫que é feito?
‫Ele avaliou nosso modelo em cinco divisões diferentes, portanto, se pegarmos o principal.
‫Isso vai obter a precisão média entre essas cinco divisões diferentes, então vamos fazer isso e
‫prosseguir.
‫Não significa salvar oito atos.
‫Maravilhoso.
‫Então é assim que a precisão existe, então podemos dizer que na verdade você pode simplesmente substituir nosso valor e
‫então salvaremos um.
‫Bela.
‫E agora vamos fazer o mesmo com esses outros, vamos aqui.
‫Podemos apenas copiar o código aqui.
‫Mais uma vez, você não quer adquirir o hábito de copiar código, deveríamos realmente funcionar
‫assim, mas continuaremos seguindo em frente.
‫O que estamos fazendo agora.
‫E por funcionalizar isso, quero dizer, porque estamos fazendo cálculos relativamente semelhantes em
‫todo o caminho, podemos simplesmente fazê-lo funcionar.
‫Portanto, há uma precisão que pode substituir isso para ser igual à precisão MPLX principal.
‫E então veja novamente.
‫Maravilhoso, e então poderíamos fazer a mesma coisa aqui, exceto para lembrar, quando podemos fazer é
‫ser um pouco complicado colocar espaços aqui ao segurar o comando.
‫Você pode colocar pequenas maldições aqui, então se mudarmos tudo isso para relembrar como dias felizes, veja só,
‫eu tenho cinco maldições em movimento.
‫Maravilhoso.
‫Oh, essa é uma boa validação cruzada de pontuação de recordação também.
‫Podemos fazer o mesmo para EF1.
‫Vamos aqui.
‫Vamos mudar todos esses meninos maus para F1.
‫Aqui vamos nós.
‫Podemos colocar um pouco de tempero.
‫Portanto, nosso código está procurando.
‫Pythonic Wonderful.
‫Tudo bem.
‫E agora temos todas essas métricas de validação cruzada entre as métricas validadas que nosso chefe está solicitando.
‫Não é bom apenas tê-lo aqui sentado no Japão.
‫E eu, como todos os nossos outros funcionários valiosos em uma pequena mesa bonita, é a nossa matriz de
‫classificação.
‫Isso fica muito bom em uma apresentação.
‫Você sabe, isso é algo que alguém poderia olhar e pensar, sim, posso ver que o valor é muito
‫alto.
‫Eu posso ver o que está acontecendo aqui.
‫Vamos fazer o mesmo, em vez de apenas espalhar todos eles.
‫Vamos extrair uma espécie de gráfico ou uma visualização para que possamos visualizar nossas métricas validadas cruzadas.
‫Então, vamos criar save a metrics como um quadro de dados, quero dizer, sim, provavelmente deveríamos ter funcionalizado
‫isso para começar, mas isso está certo.
‫Às vezes, você só precisa passar pelo.
‫Maneira antiquada e então perceber onde você errou e ver como você poderia melhorar.
‫Talvez seja uma pequena extensão.
‫Você pode tentar por si mesmo e ver como pode funcionalizar parte do que estamos fazendo aqui,
‫talvez apenas validar alguns X e Y usando métricas diferentes e colocar tudo em uma pequena apresentação agradável, tudo em
‫um único hit.
‫Isso seria uma boa prática.
‫Salve um recall e vá se um vai ser o nosso favorito.
‫Maravilhoso.
‫Precisamos definir um índice igual a zero.
‫Bela.
‫Agora podemos criar um gráfico, salvar uma matriz, e já fiz isso antes.
‫Alerta de spoiler, então sei que preciso transpor.
‫Título BA é igual a matriz de classificação validada cruzada.
‫E queremos uma lenda nova, não falsos.
‫Vamos ver como fica.
‫Bela.
‫Vamos colocar um pequeno ponto e vírgula aqui.
‫Aqui vamos nós.
‫Então, talvez pudéssemos adicionar, tipo, os números aqui para que as pessoas saibam exatamente o que são.
‫Mas vemos nossos modelos indo muito bem no recall.
‫E, novamente, provavelmente poderíamos adicionar todos os resultados de validação cruzada de nosso modelo de floresta aleatório ou de nosso classificador
‫de vizinhos mais próximos ou qualquer outro modelo de classificação que possamos ter tentado durante nossa fase
‫de experimentação desta fase de experimentação.
‫É apenas um processo iterativo, certo?
‫Apenas indo e voltando e voltando e voltando por aqui.
‫Portanto, poderíamos adicionar isso para ouvir e ver qual modelo tem o melhor desempenho.
‫Mas, por enquanto, vamos continuar com a regressão logística e isso parece algo que poderíamos compartilhar.
‫Então, o que nos resta agora?
‫Bem, vamos voltar para onde nós colocamos o que temos e o que marcamos, já marcamos tudo,
‫as coisas que nosso chefe estava pedindo, as coisas que antes não sabíamos como fazer.
‫Mas agora os vimos em ação.
‫Oh, certo, então temos.
‫Recuperação de precisão de validação cruzada, sim, relatório de classificação tic risc kotick área tem alta matriz
‫Efésia.
‫Sim, o que estamos perdendo aqui é a importância do recurso.
‫Hmm.
‫Tudo bem.
‫Bem, vamos ver como destacamos a importância no próximo vídeo.