‫Bem vindo de volta.
‫E no último vídeo vimos como poderíamos usar o método de previsão para fazer previsões sem modelos de
‫aprendizado de máquina, modelos de aprendizado de máquina equipados em modelos de regressão ou estimativa de regressão como na terminologia de
‫aprendizado psíquico.
‫Então, vamos verificar novamente o que estamos cobrindo, o que estamos cobrindo.
‫Então, fizemos de zero a três.
‫Fizemos algumas previsões sobre nossos dados porque esse é o objetivo final do aprendizado de máquina certo
‫é fazer algum tipo de previsões.
‫Temos alguns dados existentes.
‫Gostaríamos de experimentar um algoritmo com esses dados para encontrar padrões e usar esses padrões para fazer previsões
‫no futuro.
‫Portanto, tão importante quanto fazer essas previsões é avaliar essas previsões.
‫Então, vamos pular para isso.
‫Vou escrever um novo título aqui.
‫Peguei 4. 0 avaliando um modelo de aprendizado de máquina.
‫A razão pela qual avaliamos nossos modelos é porque construímos um modelo para prever algo e, em seguida,
‫queríamos colocá-lo em um aplicativo.
‫Se nosso modelo está fazendo previsões ruins, isso seria uma ótima experiência para quem usa esse
‫aplicativo?
‫Provavelmente não.
‫Portanto, antes de colocar nossos modelos no aplicativo ou prever algo que será muito crítico,
‫queremos avaliar as previsões existentes que pudermos.
‫Portanto, com o Typekit aprenda, há três maneiras de avaliar bem, três maneiras embutidas de criar seus próprios pesos
‫personalizados, mas três maneiras de avaliar estimativas de corte de modelos de linha de soquete.
‫Eles fazem parte desta biblioteca de linha do Typekit.
‫Um deles é que a estimativa é construída no método de pontuação.
‫Nós tivemos um pouco de experiência com isso até agora.
‫Dois é o parâmetro de pontuação.
‫Não vimos aquele parâmetro de pontuação que podemos ter.
‫Na verdade, cobrimos muito, mas vamos examinar cada uma delas e, em seguida, as funções métricas específicas
‫do problema.
‫Portanto, dependendo do seu trabalho com classificação ou regressão, haverá métricas de avaliação específicas para cada um
‫desses momentos de problema.
‫E de onde tiramos isso?
‫Bem, isso está entrando na documentação do empréstimo soquete.
‫Isso é métrica, e a pontuação é uma peça muito importante.
‫A propósito, este é o seu currículo real.
‫Para ler isso, você não precisa saber tudo de cor, mas apenas entender
‫onde encontrar essas informações.
‫Essa é uma grande parte de ser um programador e, especialmente, um engenheiro de aprendizado de máquina.
‫Um cientista de dados sabe apenas onde procurar, onde descobrir as coisas.
‫Vou colocar isso aqui e peguei as três APIs diferentes.
‫Portanto, temos o método da escola estimada, o parâmetro de pontuação e as funções métricas.
‫Vamos começar a analisar cada um deles.
‫Ei, vou trazer isso aqui.
‫E então vou colocar isso aqui.
‫Você pode ler mais sobre isso aqui.
‫Maravilhoso.
‫Então, vamos recapitular o método de pontuação, e vou formatar isso para torná-lo bonito e
‫bonito.
‫Entra nisso - lindo.
‫Vamos recapitular, então vou colocá-lo um pouco, não um pouco aqui.
‫Quatro ponto um Iremos avaliar um modelo com o método de pontuação.
‫Transforme isso em remarcação e partiremos de S. K. Aprendido conjunto importação Random Forest Classifier.
‫Então, faremos isso com nossos dados de classificação.
‫Primeiro MP, semente aleatória.
‫Quarenta e dois.
‫Agora eu quero você.
‫Eu quero que você dê a você.
‫Dê a você um desafio aqui.
‫Crie X e Y.
‫Vou deixar alguns comentários aqui.
‫Crie X e Y.
‫Crie teste de trem.
‫Portanto, este será X igual a doença cardíaca, algo que usamos em nosso conjunto de dados de doenças cardíacas e
‫que queremos criar.
‫Vou apenas descer aqui a instância do modelo do classificador e, em seguida, ajustar o classificador aos dados de treinamento.
‫Então esse é o meu desafio para você.
‫Vou postar o vídeo aqui e tentar preencher esses comentários por conta
‫própria, mas voltarei em três para.
‫Um atrás, espero que você tenha tentado preencher isso, mas se não, tudo bem.
‫Vamos passar por eles juntos.
‫Escrevemos este código bem aqui, e esta é uma das únicas vezes que permitirei que você
‫copie e cole o código como se tivéssemos obtido coisas, se estivermos reescrevendo coisas que escrevemos uma série de
‫vezes antes.
‫Vou copiar isso.
‫Eu vou derrubar isso.
‫Estamos verificando o método de pontuação, é o primeiro que estamos verificando, então vamos copiar e colar
‫isso.
‫Então, o salvamento aleatório cria os dados, divide os dados, instancia o classificador de floresta aleatório.
‫Agora eu acredito, sim, uma estimativa é 100 por padrão.
‫Vamos apenas deixar isso lá de qualquer maneira.
‫Ajuste o modelo aos dados de treinamento.
‫Então vamos deixar isso funcionar lindamente.
‫Portanto, temos um classificador de floresta aleatório adequado.
‫Bom e rápido.
‫E agora, como você acha que usaremos o método de pontuação?
‫E esta é uma pergunta um pouco capciosa, porque acabamos de ver acima, na verdade, veio da célula
‫onde copiamos tudo isso.
‫Então, vamos tentar, Cliff, não marque.
‫E que tal tentarmos o marcador nos dados de treinamento 1. 0?
‫Agora, por que ele recebeu uma pontuação de 1? 0 nos dados de treinamento se imaginarmos que o valor mais alto para
‫pontuação, aliás, é o quê?
‫Vou apenas escrever isso explicitamente.
‫O valor mais alto para o método de pontuação é 1. 0, o mais baixo é zero vírgula zero, então 1. 0
‫O método de pontuação padrão para um algoritmo de classificação é a precisão.
‫Retorne a precisão média nos dados de teste e rótulos fornecidos.
‫E agora, é claro, teremos que converter isso em porcentagem se quisermos precisão em porcentagem.
‫Então, 1. 0 é 100 por cento de precisão.
‫Portanto, se fosse zero vírgula oito, seria uma precisão de 80 por cento.
‫Agora, por que nosso modelo de aprendizado de máquina está obtendo 100 por cento de uma pontuação perfeita?
‫Eu já disse para você ser cético em relação a qualquer modelo de aprendizado de máquina que obtenha uma pontuação perfeita em qualquer lugar?
‫Se não, considere que sou eu a dizer-lhe que seja sempre cético em relação a métricas perfeitas.
‫Por que nosso modelo está recebendo um ponto nos dados de treinamento?
‫Bem, isso é porque ele teve exposição a todos os recursos de treinamento e todos os rótulos de
‫treinamento.
‫E então, se o modelo for poderoso o suficiente, ele alcançará uma pontuação perfeita nos dados de treinamento
‫porque é capaz de dividir os dados.
‫Em nosso caso, é o binário zero um.
‫É capaz de prever a partir de todos os valores extremos.
‫É capaz de prever perfeitamente todos os valores do trem Y.
‫Agora pode ser um cenário diferente para o dia do teste para se lembrar.
‫Ele não viu as amostras de teste ainda.
‫Queremos que nosso modelo seja capaz de aprender o suficiente com os recursos de treinamento e os rótulos de treinamento para prever
‫amostras que não vimos antes.
‫Esse é o ponto crucial do aprendizado de máquina, aprender padrões e dados que temos para fazer previsões,
‫previsões de qualidade em dados que não vimos antes.
‫Oh, então a pontuação é um pouco menor nos dados invisíveis.
‫Essa é uma tendência que você verá com frequência em seus próprios projetos de aprendizado de máquina e em artigos de pesquisa de aprendizado
‫de máquina em todos os lugares.
‫A pontuação do treinamento geralmente é um pouco mais alta do que a pontuação do teste, mas deve
‫ser relativamente próxima.
‫Mas o treinamento geralmente será maior do que a pontuação do teste.
‫E se você alguma vez obtiver uma pontuação perfeita no teste, como 100 por cento de precisão ou algo assim,
‫sempre seja cético, volte e verifique seus dados.
‫Mas se tornamos nosso modelo um pouco pior e talvez usemos apenas cinco estimativas, vamos ver o que acontece aqui.
‫Número da estimativa igual a cinco.
‫Qual é a escola de treinamento?
‫Você vê como conseguimos uma pontuação menos do que perfeita?
‫Quantos podemos empurrar para ficar perfeito?
‫Aqui vamos nós.
‫Ele só precisa de 10.
‫Esse é o poder de um algoritmo de conjunto.
‫E se usarmos apenas dois?
‫O que isso ganha?
‫Ainda obtém 90% com apenas dois, mas como isso funciona?
‫Veja, nós obtivemos uma pontuação muito pior, então esse é o algoritmo de conjunto.
‫Em suma, a floresta aleatória é um dos algoritmos de conjunto mais poderosos e rápidos, então
‫usamos 10 aqui e obtemos uma pontuação perfeita nos dados de treinamento.
‫E se aumentássemos para talvez 500?
‫Podemos aumentar a pontuação do teste?
‫Na verdade, não obtemos uma pontuação muito alta no teste, mesmo se usarmos talvez mil.
‫Você diz como pode ajustar coisas diferentes com modelos de aprendizado de máquina.
‫Essa é a parte divertida disso, certo?
‫Está ajustando coisas diferentes e obtendo resultados diferentes.
‫Agora vamos seguir em frente.
‫Vimos o método escolar para classificadores.
‫Lembre-se de que a métrica de avaliação de pontuação padrão em modelos de classificação e linha de soquete é a precisão que você pode
‫encontrar na corda de encaixe.
‫Vamos fazer o mesmo.
‫Vamos usar o método de pontuação em nosso problema de regressão.
‫Assim.
‫Eu vou deixar isso para você.
‫Eu gostaria que você replicasse isso, mas para um conjunto de dados de regressão e usando um algoritmo de regressão e teste o método
‫de pontuação, darei uma dica de que já fizemos isso antes.
‫Mas eu gostaria que você tentasse escrever sozinho desta vez.
‫Faça a mesma configuração, configuração.
‫Faça os dados, divida os dados.
‫Faça o modelo se ajustar ao modelo.
‫Pontue o modelo.
‫Te vejo no próximo vídeo.