‫OK.
‫Bem vindo de volta.
‫Vamos agora entrar em algumas métricas de avaliação do modelo de regressão.
‫Portanto, crie um novo título aqui para as métricas de avaliação do modelo de regressão ponto a ponto.
‫E mais uma vez, podemos entrar nas métricas de avaliação do modelo, documentação e ver o que está lá.
‫Então, se formos até aqui, eles têm uma avaliação de modelo.
‫Temos um monte de diferentes métricas de avaliação aqui.
‫Nós temos?
‫Na verdade, ele diz explicitamente perda de log de regressão em ou no caso de métricas de regressão?
‫Aqui vamos nós.
‫Lindo.
‫Portanto, esta é a sua atividade extracurricular.
‫Este vídeo é para ler as métricas de regressão.
‫Temos alguns dos que foram aprimorados para lidar com o caso de saída múltipla significa Guerrera.
‫Ler este erro máximo pode ser um erro absoluto.
‫Todos esses são tipos diferentes de métricas de regressão que você pode usar.
‫Vamos nos concentrar em alguns dos principais, como erro médio absoluto que você encontrará com frequência.
‫O erro quadrático principal é o erro quadrático principal do log.
‫OK, sim.
‫Portanto, temos algumas opções.
‫Existem dois pontos.
‫Este é o padrão, como vimos antes, no método de pontuação.
‫Portanto, se você quiser ver uma explicação de tudo isso, consulte a documentação.
‫Gostaria de incentivá-lo a pelo menos ler os valores pelos quais estamos passando, porque, novamente, avaliar um modelo
‫de aprendizado de máquina é tão importante quanto treinar um e fazer previsões com ele.
‫Mas vamos colocar a mão na massa.
‫Vamos copiar isso e apenas clicar aqui para o título, e vou copiá-lo.
‫Coloque lá.
‫E então vamos transformar isso em remarcação.
‫Onde estamos?
‫Aqui vamos nós.
‫Os que vamos cobrir não podem ser elevados ao quadrado.
‫Este é o símbolo para isso, mas é pronunciado como você me ouviu antes, pronunciado se eu
‫achei que não importa.
‫Você sabe o que estou tentando soletrar?
‫R-quadrado pronunciado ou coeficiente de determinação.
‫Vamos nos concentrar naquele primeiro coeficiente.
‫Provavelmente há alguns erros ortográficos, mas não estamos focados em erros ortográficos por enquanto.
‫Se tivéssemos erros de código, consertaríamos esses erros de ortografia.
‫Você pode consertá-los se quiser e, em seguida, significar erro quadrático.
‫Se eu pudesse resolver isso.
‫Mas se você quiser, sua extensão é ler esta documentação e praticar em outra.
‫A beleza de aprender Typekit é que todos eles usam interfaces semelhantes.
‫E qual é o ponto crucial da avaliação?
‫É comparar as previsões de um modelo com o que ele deveria ter previsto.
‫Então, vamos colocar nosso modelo de avaliação ou regressão de volta na cidade, e faremos algumas previsões com ele.
‫Então, de S. K. conjunto alinhado, fizemos isso algumas vezes.
‫Agora vamos obter o regreso aleatório da floresta.
‫Vamos definir uma semente aleatória e configurar nosso conjunto de dados, que é X igual a habitação.
‫A queda do defeito do invólucro dFe removerá o alvo porque queremos usar os recursos X para prever
‫o invólucro Y do alvo D F e o Y é o alvo.
‫Vamos criar nossa divisão de teste de trem.
‫Este é apenas o código que escrevemos antes, então, se houver código que escrevemos antes, você pode querer copiá-lo
‫e colá-lo.
‫No entanto, é bom adquirir um pouco de prática, especialmente se isso for muito novo para você.
‫Divida os dados em treinar e testar conjunto y para que possamos treinar nosso modelo nos dados de treinamento e
‫avaliá-los nos dados de teste que nosso modelo nunca viu antes.
‫Portanto, vamos configurar nosso modelo de regressão de floresta aleatória e, devido à natureza do algoritmo de conjunto, definiremos uma
‫estimativa do número de mini modelos em nossa floresta aleatória.
‫O número de árvores de decisão em nossa floresta aleatória para 100, que é o Ramba Cyclone padrão, tem um grande conjunto
‫de padrões para muitos de seus modelos e algoritmos de aprendizado de máquina embutidos.
‫Só porque é amplamente usado, muitos dos parâmetros padrão fornecerão resultados muito bons desde
‫o início.
‫Se não, você sempre pode ajustá-los.
‫Então vamos correr.
‫Isso não deve demorar muito, e então teremos uma escola modelo.
‫Vamos pontuá-lo no conjunto de dados de teste.
‫Agora que vimos isso antes, escrevemos exatamente o mesmo código antes de obter o coeficiente
‫de determinação, porque é um algoritmo de regressão.
‫E então temos métricas de avaliação aqui.
‫Temos um monte aqui.
‫Nós pesquisamos.
‫O que é isso.
‫Se você quiser ler mais, você pode ler mais.
‫Mas é a proporção da variação na variável dependente que é previsível a partir da variável
‫independente.
‫Agora, quanto da variável de destino em nosso conjunto de dados de habitação pode ser previsto pelas variáveis de recursos, a
‫variável dependente?
‫Quanto pode ser previsto disso pelas variáveis independentes?
‫Agora, com a pontuação, o valor mais alto é 1. 0
‫Acredito ter dito que o valor mais baixo é zero vírgula zero.
‫Agora isso é para precisão.
‫Você pode realmente obter uma pontuação negativa de R2 pode ir para, eu acredito que é como infinito negativo ou algo assim.
‫Mas eu também disse isso se você previsse apenas o principal.
‫Portanto, se você tiver todos os rótulos de teste Y, vamos dar uma olhada neles.
‫Por que testar?
‫E então, se olharmos para o motivo de o teste não significar isso se nossas previsões, se nosso modelo
‫apenas previsse dois vírgula zero, cinco, cinco etc., etc., para todos esses valores, obteríamos um R com pontuação
‫zero ponto zero e no previsto o teste Y perfeitamente.
‫Receberia uma pontuação de 1. 0, o mais alto.
‫Muito semelhante à precisão.
‫Nesse caso, um modelo que prevê muito mal obtém precisão e classificação de zero por cento.
‫Se predizer tudo correto, obtém uma pontuação de um vírgula zero cem por cento de precisão.
‫Mas, como sempre, se você alguma vez obtiver métricas de avaliação perfeitas, seja sempre cético.
‫Mas vamos ver isso em ação.
‫Eu disse isso em voz alta.
‫Por que não vemos funcionando?
‫Portanto, a partir de ESC alinhadas, importe R para pontuar.
‫E esta é outra maneira que podemos avaliar nossos modelos usando a linha Typekit, e vamos ver
‫isso e um pouco, mas isso está de volta no topo.
‫Se voltarmos ao topo desta página, isso é uma função métrica.
‫Portanto, cada métrica no empréstimo psíquico tem sua própria métrica de regressão de função específica que usamos.
‫É onde estamos na pontuação do R2.
‫Isso é o que estamos usando para que possamos importar.
‫E agora vamos preencher um array com o Y Test principal apenas para demonstrar que obtemos uma pontuação de R2
‫de zero e p cheio.
‫Isso significa apenas que Nampai criará um array completo.
‫Largura do comprimento, por que testar com o valor?
‫Por que me testar, isso é tudo que está fazendo.
‫NumPy cria uma matriz completa de comprimento.
‫Por que os testes têm exatamente o mesmo número de valores que estão no conjunto de dados de teste quatro mil
‫cento e vinte e oito cada um com o valor cada.
‫Portanto, cada amostra terá o valor do teste principal.
‫E então como podemos verificar isso?
‫Bem, vamos verificar isso.
‫E então testamos o principal.
‫Vejamos os primeiros 10.
‫Tudo deve ter que valor?
‫Deve ser todo esse valor, então vamos ter certeza de que é.
‫Então nós pensamos, OK, lindo agora, como podemos usar o R para marcar uma função?
‫Bem, se você não tinha certeza, como poderia descobrir a guia Score Shift?
‫String, sim, é disso que estou falando.
‫Olhe para isso.
‫Portanto, temos a escola R2.
‫Por quê?
‫Por que Fred?
‫Então, quais são os verdadeiros valores neste caso?
‫Bem, dissemos que, se nosso modelo fosse apenas prever o principal, que são todos esses valores, deveríamos obter uma
‫pontuação nazista de zero.
‫Portanto, esta é a nossa ampla disseminação.
‫Então, por que verdadeiro será igual a por que testar?
‫E então teremos porque o orgulho é igual a porque o teste principal?
‫Vamos dizer isso.
‫Eu disse que se nosso modelo previsse apenas o principal, obteríamos um R2 de coeficiente de determinação zero de
‫zero.
‫Aqui vamos nós.
‫Então isso é muito legal.
‫Então, você sabe, se o seu modelo estiver com um desempenho muito fraco, ele receberá dois pontos de zero ou
‫poderá ficar negativo.
‫Mas se o seu modelo for, qual é o modelo mais simples que poderíamos usar em nossos dados de teste?
‫Ou até mesmo em nossos dados de treinamento.
‫O modelo mais simples seria apenas prever o alvo como a média de todos os outros alvos.
‫Esse é um modelo de aprendizado de máquina muito simples, certo?
‫Mas o poder da floresta aleatória é que ela é capaz de atingir um modelo que chega à escola do ponto oito e
‫perto do ponto oito um.
‫Um modelo perfeito obteria um vírgula zero.
‫Vamos dar uma olhada nessa pontuação dois.
‫Por que é igual a verdade?
‫Por que testar?
‫E então por quê?
‫Pred não seria igual a mesma coisa se nosso modelo previsse perfeitamente os dados de teste, ele
‫obterá uma pontuação de um ponto zero.
‫Portanto, essa é uma maneira rápida de testar seu algoritmo de regressão para ver se ele está se saindo bem na
‫previsão do valor alvo a partir dos recursos.
‫Agora, vamos mergulhar em outra métrica.
‫Eu disse que usaremos o erro médio absoluto, então gostaria de passar isso para você.
‫Este é o seu desafio antes do próximo vídeo, na verdade, você pode tentar os dois.
‫Portanto, tente ambos os erros médios absolutos e quadrados médios.
‫A configuração será muito semelhante ao que acabamos de fazer.
‫Você terá que fazer algumas previsões com o modelo e depois compará-las com algo.
‫Então tente se você quiser a documentação que você tem aqui.
‫O erro do quadrado principal significa erro absoluto.
‫E te vejo no próximo vídeo.
‫Faremos isso juntos.