‫Bem vindo de volta.
‫Agora, vamos dar uma olhada na terceira maneira de avaliar os modelos psíquicos aprendidos e, se
‫voltarmos na documentação, veremos que são verdadeiras funções métricas.
‫Especificamente, são métricas coloniais aprendidas e temos métricas de classificação que vemos como
‫pontuamos a precisão.
‫Já vimos alguns deles antes, que é uma matriz de confusão de relatório de classificação.
‫Aqui vamos nós.
‫Pontuação de recuperação de pontuação de precisão.
‫E então temos o mesmo novamente para métricas de regressão.
‫Temos alguns aqui.
‫Erro médio absoluto.
‫Erro quadrático médio.
‫Eu lancei o desafio no último vídeo.
‫Oh, aí está a nossa pontuação dois.
‫Olá.
‫Devíamos experimentar alguns desses problemas nos quais estivemos trabalhando até agora.
‫Espero que você tenha tentado, porque a melhor maneira de começar a praticar sozinho é
‫apenas explorar a documentação, escrever algum código, cometer alguns erros e ver como corrigi-los conforme você avança.
‫Agora, vamos escrever um pequeno título usando diferentes métricas de avaliação como funções de empréstimo de
‫encaixe, e vamos aqui.
‫A terceira maneira de avaliar a estimativa de corte dos modelos de aprendizado de máquina de aprendizado de soquete
‫conforme eles usam o termo estimado que eu gosto de modelar é usar o módulo Line Dot Matrix e, em seguida, vincular a documentação
‫lá e transformá-la em markdown.
‫Lindo.
‫Vamos começar a escrever algum código.
‫Começaremos com nosso problema de classificação.
‫Colocaremos a partir de S Dot Matrix Import Accuracy Score.
‫Obteremos a precisão.
‫Obteremos a pontuação de precisão e obteremos a pontuação de recall.
‫E talvez, talvez isso seja o suficiente.
‫Ou que tal fazermos F1 também?
‫Por que não?
‫Teremos um pouco de completude lá e então obteremos um modelo.
‫Portanto, do Skyline Dot Ensemble, queremos importar o classificador de floresta aleatório.
‫E então o que mais devemos comprar?
‫Bem, podemos também tentar e testar a divisão, por quê?
‫Por que não fazemos isso a partir da seleção de modelos do Caitlin Typekit?
‫Percorreremos todo o fluxo de trabalho novamente, selecionando, importando, treinando, testando, dividindo.
‫E então eu quero que você dê uma chance.
‫Crie X e Y.
‫Então, gostaria que você dividisse os dados e criasse o modelo de ajuste do Modelo Y e, em seguida, avaliasse o modelo usando funções de
‫avaliação.
‫Aqueles que acabamos de importar aqui, então você terá algumas previsões e verificar a sequência de documentos para eles
‫se quiser descobrir o que são.
‫Essas são apenas as principais métricas de classificação que abordamos.
‫Exatidão, recall de precisão e F1.
‫Existem mais alguns aqui, é claro, para classificação, se você quiser ver mais alguns deles.
‫Por favor, pule para a documentação.
‫Estou apenas compartilhando alguns dos que você verá com mais frequência.
‫O mesmo para regressão.
‫Há muito mais aqui do que o que cobrimos.
‫Se você quiser ler mais, a documentação está aqui para ir agora.
‫Vou deixar você dar uma chance para preencher enquanto isso.
‫Que tal nos prepararmos para fazer uma regressão também?
‫De Skylon Dot Matrix Import A2 Score, que é o coeficiente de determinação.
‫Erro absoluto principal.
‫O valor principal da diferença entre as previsões do seu modelo e os valores reais significa erro quadrático, o valor quadrado
‫das previsões do seu modelo ou o erro das previsões do seu modelo em comparação com
‫os rótulos reais.
‫E então vamos obter escalar e obteremos o módulo ensemble e importaremos nossa regressão de
‫floresta aleatória fiel.
‫E também obteremos obteremos a mesma coisa que temos acima.
‫Nem sempre é preciso escrever isso porque já está importado, mas apenas para que cada uma dessas partes do
‫código permaneça.
‫Vou copiar isso e aqui vai ter exatamente o mesmo tipo de layout.
‫Essa é a beleza desta biblioteca de linha do Typekit é que muito do fluxo de trabalho é semelhante, dependendo do problema
‫em que você está trabalhando.
‫Então você pode pausar o vídeo aqui, tente preencher esses dois.
‫Do contrário, continuaremos em três ou mais segundos, três para um.
‫Espero que você tenha tentado.
‫Bem, vamos agora fazer isso juntos.
‫Portanto, precisamos criar X e Y pode começar.
‫Isso é uma coisa que eu perdi aqui, na verdade.
‫Cena aleatória e nós vamos X é igual a doença cardíaca.
‫Já fizemos isso algumas vezes, mas deixaremos o alvo no primeiro eixo e então definiremos y
‫igual ao valor alvo alvo de doença cardíaca.
‫Divida os dados para ver se podemos fazer isso por meio do Heart X Train X test vem primeiro.
‫Levei um tempo para aprender essa ordem, mas lembre-se primeiro dos valores X, tente e teste, depois teste do
‫trem dos valores Y, teste do trem divida.
‫Vamos dividir X e Y.
‫Lembre-se, isso só vai dividi-lo em uma divisão, em vez do que vimos antes, que era a
‫validação cruzada.
‫Dividi-lo em divisões finais ou divisões é um termo que costuma ser usado pode ser três K pode ser dois K pode ser
‫10 K pode ser cinco.
‫Passando no classificador de floresta aleatório.
‫Vamos deixar em.
‫Os parâmetros padrão se ajustam ao modelo nos dados de treinamento, ajuste à fenda nos recursos e rótulos do trem X Train
‫Y.
‫Agora vamos avaliar o modelo usando funções de avaliação.
‫No entanto, o que você pode ter descoberto é outra coisa que perdi.
‫Então, talvez eu tenha feito isso intencionalmente.
‫A métrica de classificação no conjunto de teste é como usar especificamente essas funções agora.
‫Precisão que vimos, podemos tê-los visto antes, mas tudo bem.
‫Se não tivermos, vamos cobri-los.
‫Fizemos muitas etapas semelhantes ao que estamos prestes a ver.
‫Temos os valores de teste Y, mas se olharmos para a documentação da pontuação de precisão, o que obtemos?
‫Pontuação de classificação de precisão.
‫Precisamos comparar os valores verdadeiros do porquê, que em nosso caso dos rótulos de teste com os valores de
‫predição Y, que são as predições de nosso modelo, para que pudéssemos colocar aqui o Sealift ou predizer o teste X.
‫Mas, em vez de reescrever, selecione prever o tempo todo.
‫Então se formos lá e isso deve nos dar um valor x vezes 100 e nós o formatarmos com duas casas decimais, coloque
‫um pequeno sinal de porcentagem aqui atrás e veja o que resulta.
‫Próximo não está definido.
‫Precisamos disso como teste X?
‫Aqui vamos nós.
‫OK.
‫No entanto, por que simplesmente não fazemos algumas previsões e apenas as reutilizamos, então fazemos previsões?
‫Queremos ver uma risada.
‫Preveja no teste X X e os Y Preds serão iguais a isso.
‫Então, se apenas copiarmos esta linha.
‫Devemos obter o mesmo valor para o porque Preds, porque é a mesma coisa, exceto que estamos apenas colocando-o em uma
‫variável.
‫Sim, vamos lá.
‫Então está um pouco melhor.
‫Nós vamos nos livrar disso.
‫Exclua isso.
‫E que tal pegarmos essa cópia?
‫Isso porque queremos um para recall de precisão. Se houver, quais são essas métricas aqui?
‫O recall de precisão F1 mais uma vez, poderíamos usar um pouco mais se quiséssemos, porque temos um monte
‫de métricas de classificação aqui.
‫Estes são alguns dos mais comuns, alguns dos mais importantes.
‫Vamos mudar isso para precisão.
‫Vamos mudar este para recordar e vamos mudar este para f um.
‫Então, mais uma vez, podemos fazer a mesma coisa.
‫Precisão, precisão, pontuação de recuperação de escala e pontuação F1.
‫E então não precisamos formatá-los como porcentagens, seja isso ou faça.
‫Precisão é o que você encontrará frequentemente como porcentagem, oh, o que perdemos aqui?
‫Oh, sentimos falta do final da string dock ou da string formatada.
‫Você percebeu isso?
‫Aqui vamos nós.
‫Lindo.
‫Poderíamos reduzi-los a algumas casas decimais, mas tudo bem.
‫Então vamos lá.
‫Agora vimos a terceira maneira de usar uma métrica de avaliação como funções de linha de soquete.
‫Agora, isso é para classificação.
‫Vou pausar o vídeo ou permitir que você pause o vídeo novamente e ver se você pode replicar
‫o que fizemos para a classificação.
‫Você terá que adicionar uma etapa extra aqui, fazendo algumas previsões com os modelos, porque se está avaliando um
‫modelo.
‫Avaliar um modelo é comparar as previsões do nosso modelo com os dados de verdade do terreno são muito importantes.
‫Tão importante quanto o treinamento, um modelo está avaliando esse modelo, então dê uma chance a ele.
‫Caso contrário, vamos continuar e escrever juntos em três para um.
‫Bem vindo de volta.
‫Espero que você tenha dado uma chance de avaliar um modelo de regressão usando algumas funções de avaliação
‫aqui, e temos todas elas do módulo Metrics, o módulo de regressão metrics da documentação do site
‫Ketlen.
‫E se você está se perguntando por que Daniel está se referindo tanto à documentação?
‫Bem, é porque você vai fazer muito isso e eu, na verdade, faço muito isso.
‫Estou tentando transmitir a você alguns dos hábitos que uso no dia a dia, pois um engenheiro
‫de aprendizado de máquina ou cientista de dados criará X e Y aqui, e referir-se à documentação é um dos hábitos mais importantes
‫que você desenvolverá .
‫Claro que você pode pesquisar coisas, mas eventualmente você vai voltar a ler os
‫documentos ou pesquisar, ler os documentos, pesquisar, ler os documentos, escrever
‫código, errar, acertar continuamente.
‫Experiência experimento experimento.
‫Portanto, crie esses dados divididos.
‫Já vimos isso antes.
‫Vamos instanciar o modelo como o quê?
‫Porque estamos trabalhando em um problema de regressão.
‫Vamos defini-lo como uma regressão de floresta aleatória.
‫Vamos deixar com os parâmetros padrão.
‫Vamos ajustar o modelo no modelo de dados de treinamento, não ajustar x train y train.
‫E agora podemos fazer previsões.
‫Essa foi a etapa extra que tivemos que adicionar aqui, que é a previsão do modelo no teste X configurará isso como
‫uma variável y Preds.
‫Podemos renomeá-lo.
‫Portanto, não é o mesmo que está aqui, mas tudo bem.
‫E agora vamos avaliar usando métricas de regressão no conjunto de teste.
‫Então podemos imprimir F.
‫Vamos fazer o R marcar primeiro.
‫Então, queremos marcar.
‫Vamos formatar isso com R para pontuar com o período de teste Y.
‫E então queremos, oh, não temos o fim da corda aí.
‫Eles não vão imprimir.
‫O que mais nós queremos dizer?
‫Erro absoluto.
‫Portanto, a pode ser absoluto médio.
‫Nós temos?
‫Sim, temos o preenchimento automático e Fred.
‫E então, finalmente, a impressão terá o que é um erro quadrático médio bagunçado, bagunçado, por que testar, por que desfilar e então
‫terminar isso aí?
‫Eu não sei.
‫O que erramos?
‫Esse é o erro quadrático principal de Kayla e Metrix.
‫Temos um erro de digitação.
‫Você já percebeu isso antes?
‫Erro quadrático médio?
‫Nós corremos.
‫Isso vai caber.
‫Nosso modelo pode demorar um pouco mais do que o de classificação porque nosso conjunto de dados de
‫habitação tem 20.000 linhas.
‫Oh, o que erramos?
‫Por que Fred não está definido?
‫Oh, precisamos de fios brancos.
‫Aqui vamos nós.
‫Ele pode ter pegado aquele erro de digitação novamente.
‫Apenas retreine o modelo lá.
‫Reavalie isso.
‫Então, novamente, qual é a diferença entre nossa avaliação de cross val e nossas métricas de regressão ou métricas de classificação
‫aqui?
‫Essas métricas são encontradas em uma divisão de teste de trem em relação a essas métricas.
‫Aqui, são encontrados em várias divisões de teste de trem usando validação cruzada.
‫Essas métricas demoram mais para serem encontradas porque você precisa treinar vários modelos e avaliá-los.
‫No entanto, eles geralmente são uma indicação melhor de como seu modelo funcionará fora de um
‫caderno de Júpiter com dados invisíveis do que apenas em uma única divisão.
‫Portanto, apenas tenha isso em mente.
‫Lindo.
‫Temos algumas métricas de regressão no conjunto de teste, portanto, temos COVID.
‫Demorou um pouco, mas eu queria gastar muito tempo nesta seção porque é muito importante avaliar
‫um modelo.
‫Portanto, se você quiser ler mais sobre isso, consulte a documentação.
‫Abordamos o método de estimativa de pontuação.
‫Abordamos o parâmetro de pontuação e examinamos as funções métricas.
‫Há muito mais aqui, mas você viu o ponto crucial de todos os três.
‫Então, agora vamos descobrir o que estamos cobrindo.
‫Vamos dar uma olhada em nossa lista.
‫O que passamos até agora?
‫Zero e ponta a ponta do fluxo de trabalho preparando os dados?
‫Escolha o algoritmo de corte de estimativa correto para nossos problemas.
‫Ajuste o modelo avaliando um modelo e oh, número cinco, estamos prontos para melhorar um modelo.
‫Isso é muito, muito emocionante.
‫Então, cobrimos muito na seção de linha de soquete até agora, mas ainda temos um pouco mais para
‫avançar.
‫Te vejo na próxima seção.
‫Vamos descobrir se temos essas métricas, como podemos melhorá-las, torná-las melhores?
‫Já falamos sobre isso em vídeos anteriores, mas agora vamos realmente mergulhar nisso.
‫Te vejo na próxima seção.