‫Agora, vimos os hiperparâmetros de nosso modelo de regressão logística e está obtendo uma
‫pontuação muito boa aqui, mas lembre-se dessa pontuação, a pontuação padrão para um classificador é a precisão.
‫O que queremos fazer agora é criar algumas métricas de avaliação em torno de nosso modelo que vão um pouco além
‫da precisão.
‫Mais especificamente, vamos criar nosso modelo de aprendizado de máquina ajustado, na verdade classificadores de aprendizado de máquina para um
‫melhor.
‫Essas métricas de avaliação são específicas da classificação, portanto, iremos além da precisão.
‫Então, novamente, mais especificamente, queremos uma curva RSI e um U. S. pontuação.
‫Também queremos uma matriz de confusão, colocando falhas que realmente pareciam ser da Matrix com muitos
‫números.
‫Você sabe, aquela tela verde flutuante, eles querem um relatório de classificação.
‫O que mais nós queremos?
‫Queremos um recall de precisão e pontuação de F1, e seria ótimo.
‫E seria ótimo se a validação cruzada fosse usada sempre que possível.
‫Então, vamos transformar isso em remarcações.
‫É nisso que estaremos trabalhando, usaremos nossa pesquisa de grade antiquada, modelo de regressão logística,
‫bem como o melhor tipo de parâmetro para isso.
‫E veremos onde eles entram em jogo em um segundo.
‫Portanto, em primeiro lugar, quando avaliamos um modelo, ele está sempre comparando como as previsões de um
‫modelo treinado se comparam aos rótulos verdadeiros.
‫Portanto, o que temos que fazer é primeiro fazer algumas previsões para que possamos compará-las com os rótulos verdadeiros, a. k. uma.
‫os rótulos no conjunto de dados por que testar.
‫Então vamos fazer isso.
‫Certo, uma nota aqui para fazer comparações e avaliar nosso modelo treinado.
‫Primeiro, precisamos fazer previsões.
‫Então o que faremos é fazer previsões com o modelo ajustado e há uma bela função chamada predizer que podemos usar para isso, então
‫vamos salvá-la para por que desfiles?
‫Usamos G. S. Log Regg, que é apenas a nossa versão de trem de nosso modelo de pesquisa em grade, Segers Log.
‫Regg, não preveja.
‫E vamos predizer o porquê nos dados de teste.
‫Maravilhoso.
‫E vamos vê-los apenas para ter certeza de que não vamos ficar loucamente lindos.
‫E agora precisamos compará-los ao conjunto de dados de teste.
‫Então, vamos dar uma olhada nisso aqui.
‫OK, então se quiséssemos ir de zero a zero, podemos saber que erramos neste ponto.
‫Isso deveria ser um zero aí?
‫Porque esta é a verdade nos rótulos e então poderíamos continuar indo por aí, mas não vamos
‫fazer isso.
‫Queremos usar algum código para fazer isso.
‫Em primeiro lugar, queremos uma curva de rock porque lembre-se de que temos esta pequena lista, curva de
‫movimento ascendente e escola AUC.
‫Hmm.
‫O que é uma curva de rocha?
‫Bem, se olharmos para cima e o que é uma curva de rocha.
‫Passamos por esse processo de compreensão de A. S. Rockhead, então se formos ler isso.
‫O que obteríamos é que a rocha é criada plotando a taxa de verdadeiro positivo em relação à taxa de falso
‫positivo em várias configurações de limite.
‫OK, linda.
‫Então, vamos ver como fazemos isso, a curva de rocha é uma maneira de entender o desempenho do seu
‫modelo, comparando a taxa de verdadeiro positivo com o falso positivo.
‫Direito.
‫E se quisermos descobrir o que é um verdadeiro positivo e um falso positivo, podemos dar uma olhada em nossa
‫matriz de confusão para isso.
‫Portanto, um modelo verdadeiro positivo prevê um quando a verdade é um e um falso positivo é apenas o modelo prevê um quando
‫a verdade é suposta ser zero.
‫E um modelo perfeito vai receber um olho, veja a escola, o que vemos em um segundo de 1. 0
‫Então, vamos ver como fazemos isso.
‫Portanto, importe a função de curva RISC de Escalon, matriz de pontos.
‫É daí que vem.
‫É onde ele mora.
‫Mas, na verdade, já fizemos isso, como com todas as outras funções do Skyland que usamos
‫no início.
‫De volta aqui.
‫Portanto, este é o modelo de avaliação agora na próxima seção.
‫Neste próximo vídeo, vamos abordar tudo a partir daqui.
‫Podemos ver aqui que temos um randomizador de uma busca em grade, uma curva de gráfico de matriz de confusão que estamos
‫prestes a usar registros escolares de precisão, escola, EF1, escola.
‫Portanto, estes são para o nosso modelo de classificação.
‫Então, vamos descer.
‫Podemos economizar uma linha de código, na verdade não precisamos importá-la.
‫Nós vamos voltar aqui, podemos apenas traçar a curva Roc.
‫Agora, esta é uma adição relativamente nova a esta biblioteca de segunda linha, com a qual estou muito,
‫muito feliz, porque geralmente você tinha que escrever isso em sua própria disfunção, esta curva de gráfico, e calculá-la realmente calcula
‫o U. S. métrica para nós.
‫Então, a área sob a curva métrica, vamos vê-la em ação e, a seguir, plotar a curva.
‫G. S. Law, Greg, e se olharmos isso na documentação e
‫nos dissermos o que faz, parsad, uma estimativa de qual é nosso modelo de aprendizado de máquina em características operacionais do receptor do gráfico de X por cento Y,
‫a. k. uma. Roc Curve.
‫É isso que vai fazer por nós.
‫Coisas bonitas como o teste Wragg X e queríamos fazê-lo no conjunto de dados de teste.
‫Avalie sempre.
‫Isso deve ser calculado, sempre avalie seus modelos de aprendizado de máquina no conjunto de dados de teste e vamos
‫ver.
‫Oh Linda.
‫OK, então lembre-se de uma curva perfeita que vimos nos vídeos anteriores.
‫Chegamos a este canto e depois atravessamos assim, mas Elstein está muito bem e temos uma área sob a
‫curva.
‫Portanto, se calcularmos toda essa área abaixo de zero vírgula nove três, é claro que um modelo perfeito
‫alcançará 1. 0 como nosso modelo.
‫Não é perfeito, mas é uma pontuação de ato de zero vírgula nove três quando a média de apenas.
‫Jogar uma moeda seria essencialmente zero vírgula cinco, então estamos nos aproximando de um modelo perfeito, nada mal para um
‫modelo que acabou de sair da caixa.
‫Tudo bem.
‫A próxima coisa que queremos fazer.
‫É uma matriz de confusão, então vamos dizer que é uma matriz de confusão, como poderíamos fazer isso?
‫Então eu acho que a linha tem uma função e não acho que conheço o socket.
‫Tem uma função.
‫Podemos ficar confusos, matriz, e queremos comparar os níveis de tropas terrestres com os níveis previstos.
‫OK, eu poderia simplesmente deixar assim.
‫Isso é um pouco sem graça.
‫Podemos melhorar a visualização dessa matriz de confusão usando.
‫Seabourne, é isso que você quer.
‫Então, nós queremos ir.
‫Acredito que já temos Seabourne aqui.
‫Sim, fazendo S. UMA. S. , sim, nós fazemos.
‫Então, nós já estivemos antes neste projeto, então podemos ir.
‫O que devo fazer é saber com antecedência que precisamos de um tamanho de fonte maior.
‫O tamanho da fonte é igual a um vírgula cinco.
‫Isso simplesmente não foi definido.
‫E vamos criar uma pequena função aqui, caso quiséssemos fazer outra matriz de confusão,
‫porque a função de matriz de confusão do ciclone não está à altura de fazer este vídeo. Talvez seja uma
‫oportunidade para uma solicitação de pull.
‫Então vamos aqui.
‫Bom e simples, então vamos apenas postular esse teste de função.
‫Rótulos e nossos rótulos previstos, e então vamos criar um plotts de boa
‫aparência, uma matriz de confusão de boa aparência usando seaboards, vimos isso antes do heightmap.
‫Maravilhoso.
‫Portanto, temos um grande X igual a T pontos subtramas, grande tamanho igual a três três o shift end para acionar happy again X
‫é igual a sinistro heat map.
‫Maravilhoso.
‫Vamos postular a matriz de confusão do local da função da linha psíquica.
‫Por que testar.
‫Por que Fred's.
‫E então queremos adicionar aqui e não anotar, sim, por favor, anotar é igual a verdadeiro.
‫E nós vamos bar porque não queremos Colaba, porque eu vi o Talibã,
‫não parece muito bom em uma confusão Matrixx pena não ex-rótulo.
‫De confiança.
‫E então vamos colocar o porquê de ser responsabilizado, indo para a calúnia prevista e vamos ver.
‫Portanto, temos muita confusão matemática.
‫Matrixx, por que testar?
‫Por que desfiles?
‫Oh, o que fizemos, tamanho da fonte?
‫Esse saco de Fonzi está errado.
‫O que é essa escala O?
‫Ei, temos conta.
‫O que eu posso fazer é clássico e está nos dando um pequeno corte
‫aqui para que possamos consertar isso, eu acredito, indo por cima porque x não entendo porque limn.
‫Sim.
‫E então queremos ir para o conjunto de pontos X Wiliam.
‫Deixe-o um pouco bem definido, Whilom, e será o último vírgula cinco, topo, menos zero vírgula cinco.
‫Agora, é claro, se você está confuso, o Matrix saiu parecendo bom, você pode não precisar dessas
‫linhas, mas não importa.
‫Aqui vamos nós.
‫Podemos parecer um pouco melhores.
‫Então você pode ver que o modelo fica confuso.
‫Portanto, prevê o rótulo incorreto relativamente igual em ambas as classes.
‫Então, em essência, há quatro ocasiões aqui em que o modelo previu zero.
‫O rótulo predito previa que alguém não tinha doença cardíaca quando deveria ter sido previsto como
‫tal.
‫Então, isso é um falso negativo.
‫Portanto, está prevendo zero em vez de um, um falso negativo.
‫Lembre-se, conforme voltamos aqui, o modelo de falso negativo prevê zero quando a verdade é ganha.
‫E aqui estão os falsos positivos.
‫Então, tudo bem, temos três casos aqui em que um modelo prevê, um, alguém tem doença cardíaca, quando
‫na verdade não tem.
‫E você pode ver que essas são as duas coisas que queremos evitar.
‫Direito.
‫Principalmente quando se pensa em algo tão grave ou tão sério quanto uma doença cardíaca, até mesmo prevendo quando ela
‫não está presente.
‫Então aqui, se prevermos zero, então nenhuma doença quando ela estiver presente.
‫Ok, isso é ruim.
‫Mas também prever que está lá quando não está realmente lá, isso também é ruim.
‫Portanto, isso é algo que você deve considerar ao construir esse tipo de modelo.
‫Um falso negativo é pior ou um falso positivo é pior?
‫E, novamente, um modelo perfeito não teria nada disso.
‫Mas, na realidade, você provavelmente vai acabar tendo algum tipo de confusão aqui com o seu modelo.
‫Você não vai idealmente, isso seria perfeito aqui, do outro lado da linha.
‫Agora, fizemos uma matriz de confusão.
‫Nós temos isso aí.
‫Poderíamos compartilhar isso com nosso chefe.
‫Poderíamos compartilhar isso com nosso roqueiro chefe lá.
‫Qual é o próximo?
‫Relatório de classificação?
‫OK, seria ótimo se a validação cruzada fosse usada sempre que possível.
‫Tudo bem, é isso que podemos abordar no próximo vídeo.