‫Maravilhoso.
‫Vimos como obter rapidamente uma amostra de como nossos modelos de aprendizado de máquina estão se
‫saindo e avaliá-los usando o método de pontuação, e isso retornará uma métrica de avaliação
‫padrão, dependendo do problema em que estamos trabalhando na regressão, seus retornos, o coeficiente de determinação e na classificação, retorna
‫a precisão principal.
‫No entanto, quando você se aprofundar em um problema, é provável que queira começar a usar algumas métricas mais poderosas
‫para avaliar o desempenho do seu modelo.
‫E então, naturalmente, a próxima etapa do uso da pontuação é usar um parâmetro de pontuação personalizado.
‫Então, se virmos aqui, vimos essa estimativa, um método de pontuação, e agora vamos dar uma
‫olhada em como usar um parâmetro de pontuação, ferramentas de avaliação de modelo, usar validação cruzada ou talvez tenhamos que ver o
‫que isso é.
‫Então, vamos mergulhar nisso.
‫O que vamos fazer é resolver isso.
‫Agora, você vai ter que ter paciência comigo nos próximos vídeos, porque vamos cobrir uma boa parte aqui.
‫A razão disso é que avaliar um modelo de aprendizado de máquina é uma etapa muito importante.
‫Uma coisa é chamar uma função de ajuste em alguns dados, mas a próxima coisa mais importante é: ei,
‫esse modelo está realmente funcionando?
‫Está aprendendo alguma coisa?
‫Podemos usar isso para prever o futuro?
‫E é por isso que nos certificamos de que estamos cobrindo muito terreno aqui.
‫Então vamos começar.
‫O que vamos fazer é ir de Escalon, não selecionar um modelo, importar a pontuação Crosswell.
‫E como sempre, vamos executar o código primeiro, antes de mergulhar no que está realmente acontecendo.
‫E o que precisamos é de algum código de classificação.
‫Então, o que vamos fazer, podemos copiar isso.
‫A propósito, você está autorizado a copiar isso porque já escrevemos algumas vezes.
‫Portanto, a única coisa diferente aqui do que fizemos é que importamos a pontuação de Crossville da seleção do modelo de
‫empréstimos do Saikat.
‫Agora, a próxima coisa que faremos porque chamamos fit aqui, queremos colocar um pequeno ponto-e-vírgula para
‫não obtermos uma grande saída.
‫Você sabe o que?
‫Este aviso continua aparecendo, então podemos apenas continuar mudando isso e estimar que é igual a 100.
‫Maravilhoso.
‫E então Crossville score, tem a palavra score nele, mas nós vimos o que este Crossville está fazendo?
‫Bem, vamos dar uma olhada em nossa pontuação.
‫Vamos fazer os dados de teste primeiro para que possamos comparar e depois faremos o mesmo.
‫Mas desta vez, usando Crossville Score, Crossville Score e Crossville Score leva nosso classificador.
‫Leva dados X e leva os dados Y, não o teste.
‫E não o trem.
‫Veremos o que está acontecendo em um segundo.
‫Oh, o que está acontecendo aqui e novamente, estamos recebendo outro aviso, isso é apenas para dizer que o
‫valor padrão de C. V mudará de três para cinco.
‫Então, se dermos uma olhada nesta guia shift.
‫Vamos ler a doutrina, avaliando uma pontuação por validação cruzada, o que é validação cruzada uniforme e
‫assim C. V vai nos dar um aviso.
‫É daí que vem esse aviso.
‫Se mudarmos de C. V Eagles ', o padrão é três.
‫Se mudarmos para cinco, esse aviso irá embora e então teremos uma série
‫de cinco pontuações diferentes.
‫Hmm.
‫Portanto, essa é provavelmente a primeira diferença que você notará.
‫A pontuação de Crossville retorna uma matriz, enquanto a pontuação retorna apenas um único número.
‫OK, então como podemos descobrir isso?
‫Precisamos descobrir o que é a validação cruzada, porque isso é, afinal, o que o Crossville Score está
‫fazendo, volte para o dock string.
‫Avalie uma pontuação por azar de validação cruzada.
‫Aqui está algo que preparei anteriormente para demonstrar e, como sempre, entendo as coisas melhor visualmente.
‫Você pode fazer o mesmo para demonstrar o que a validação cruzada está fazendo.
‫Então, o que fizemos antes em nossa tala de teste de treinamento normal, dividimos nossos dados em treinamento para que isso
‫pudesse ser uma pausa.
‫Começamos com 100 prontuários de pacientes.
‫Nós o dividiríamos em uma divisão de treinamento.
‫Em nosso caso, usamos 80 por cento e isso conteria o trem X e o trem Y 80 amostras.
‫E usei o número 100 aqui.
‫Nós realmente temos mais do que isso.
‫Mas isso ocorre porque os números funcionam visualmente melhor aqui.
‫E em nosso conjunto de dados de teste, temos 20 por cento dos dados que conteriam o teste X e o teste Y.
‫Agora, a diferença aqui com a validação cruzada e em nosso caso, esta imagem aqui está demonstrando a validação
‫cruzada quíntupla.
‫O que você provavelmente vê referência à validação cruzada é K dobra, onde K é um número arbitrário.
‫E a razão pela qual estamos usando cinco é porque voltamos aqui.
‫C. V é igual a cinco aqui.
‫Isso significa validação cruzada.
‫E é disso que estou falando, dividir nossos dados em treinamento e teste, usando 20 por cento para o local
‫de teste.
‫Isso significa que naturalmente os outros 80% vão para os dados de treinamento, que é de onde vem
‫essa pequena divisão.
‫Agora, o que a validação cruzada faz é cinco divisões diferentes, portanto, usará os primeiros 20 por cento.
‫Então você vê como aqui isso está usando a última tabela, 20 por cento aqui.
‫Portanto, ele criará um conjunto de dados de teste aqui e um conjunto de dados de treinamento aqui.
‫Então, vou passar aqui e usá-lo como o conjunto de dados de teste e depois novamente.
‫E de novo e de novo.
‫E então o que acontece é que a validação cruzada treina cinco versões diferentes do modelo e, em seguida, avalia
‫se esses modelos foram treinados em cada dado de treinamento em cinco versões diferentes dos dados de teste.
‫Qual é o propósito disso?
‫Bem, como você pode imaginar, se estivermos treinando apenas um modelo, pode ser uma divisão feliz como, digamos, isso, 80 por
‫cento das linhas dizem que tinha um monte de informações no modelo, foi capaz
‫de aprender muito bem nessas oitenta linhas, nesses 80 prontuários.
‫E então ele obteve uma pontuação muito boa neste conjunto de teste.
‫Isso é um verdadeiro reflexo de como nosso modelo entenderia os dados ou descobriria os padrões nos
‫dados?
‫Bem, realmente não está certo.
‫Porque é apenas sorte, certo?
‫Se estivermos apenas dividindo isso aleatoriamente e, de alguma forma, um monte de registros fáceis de pacientes tiver chegado aqui e
‫os modelos descobrirem certos padrões e isso vai para aqui.
‫Este conjunto de dados de teste e marcou uma pontuação incrível.
‫Podemos estar nos enganando.
‫Podemos estar nos enganando pensando que nosso modelo é muito melhor do que o que realmente é.
‫Então é aí que a validação cruzada entra em jogo.
‫Seu objetivo é fornecer uma solução para não treinar com todos os dados e evitar obter as pontuações da sorte em
‫apenas uma única divisão de dados, de modo que criará cinco divisões diferentes.
‫Portanto, não importa o que aconteça, nosso modelo será treinado em todos os dados e avaliado em todos os
‫dados.
‫E é por isso que se voltarmos.
‫Para ver a pontuação do Crosswell, é por isso que ele nos dá cinco pontuações diferentes aqui.
‫Oh, então isso está começando a fazer sentido se chamarmos o parâmetro de pontuação apenas em nossos dados de teste.
‫E agora, por que os dados do teste vão devolver uma escola.
‫Mas se chamarmos Crossville de pontuação porque nos referimos ao gráfico aqui, ele fará cinco divisões
‫diferentes.
‫E lembre-se, Quíntuplo é apenas um número arbitrário.
‫Você poderia fazer dez vezes, você poderia fazer três vezes.
‫Você pode até fazer 100 vezes.
‫Mas cinco vezes é o padrão da biblioteca.
‫Geralmente é muito bom, dependendo do tamanho dos seus dados.
‫Portanto, usaremos o Five-fold para demonstrar aqui.
‫Só para provar a você, podemos entrar aqui, Crosswell School e fazer 10.
‫Então, isso significa que vai fazer dez divisões diferentes, exatamente igual a esta.
‫Em seguida, retorne 10 pontuações diferentes.
‫Então você diz aqui, este é um ótimo exemplo de divisão um, tem que marcar ponto nove.
‫Então isso pode ser 90 por cento, que é mais alto aqui.
‫Mas em uma divisão mais leve, tem algo muito mais baixo, 72.
‫E então o que fazemos aqui é descobrir uma métrica de desempenho mais ideal ou métrica de avaliação para nosso
‫modelo é que podemos tirar a média dessas cinco pontuações.
‫Vamos ver isso acontecer.
‫Faremos tudo em uma célula, semente aleatória.
‫E o que vamos fazer é obter uma única pontuação de treinamento e teste.
‫Vou ter certeza de ver uma única pontuação e ver se saí do teste da Escola X.
‫Vai usar os mesmos dados aqui.
‫Por que testar?
‫Maravilhoso.
‫E então vamos fazer a escola de validação cruzada de Mane of Five.
‫Auto-escola cruzada é igual a ENPI principal, então precisamos cruzar a escola X, oh não, precisamos passar.
‫Nosso Classificador X, Y e usamos CV é igual a cinco e então.
‫Compare os dois.
‫Então, vamos ver um single ao vivo.
‫Faça a pontuação e, em seguida, faça a pontuação do Silver Cross Valley.
‫Então, o que vemos aqui?
‫Bem, no nosso caso.
‫Nossa pontuação única original, que agora está aqui, é exatamente o mesmo número, porque estamos
‫usando uma semente aleatória, usando os mesmos dados de teste, nossa pontuação única é zero vírgula oito cinco.
‫Mas quando usamos validação cruzada, quando usamos cinco divisões porque S. V. igual a cinco, obtemos uma pontuação de
‫vírgula oito dois.
‫Portanto, é um pouco mais baixo.
‫Mas, neste caso, se você for solicitado a relatar a precisão do seu modelo, mesmo que seja
‫inferior, você prefere a métrica de validação cruzada em vez da métrica de não validação cruzada.
‫Agora espere, nós nem mesmo usamos o parâmetro de pontuação.
‫Bem, isso é porque, por padrão, é definido como nenhum.
‫Vamos dar uma olhada no parâmetro de pontuação definido como nenhum.
‫Por padrão, é um recorde de vida marinha da escola de Crossville, x, y CV, podemos passar na pontuação aqui e não será dito para
‫nenhum.
‫Então, se mudarmos isso, como vou saber disso?
‫Bem, felizmente, a manipulação vem a calhar.
‫C por padrão, é definido como nenhum.
‫Então, se continuarmos rolando para baixo.
‫Talvez nosso bloco de notas, sequência de pontuação chamável em nenhum, padrão opcional, nenhum.
‫Ok, uma string, consulte a documentação de avaliação do modelo.
‫Isso é o que tivemos que procurar aqui.
‫Ou uma função de objeto global Sakurako com uma pontuação de assinatura, uma estimativa de
‫x Y, que deve retornar apenas um único valor se nenhum, a estimativa é o marcador padrão se disponível for usado.
‫OK.
‫Agora, é por isso que sabemos que isso é precisão, porque se o parâmetro de pontuação
‫da pontuação de Crossville for nenhum, ele usa o parâmetro de pontuação padrão de nossa estimativa em nosso caso.
‫O que é?
‫O
‫parâmetro de pontuação de falha do classificador águias significa precisão e onde vimos isso antes?
‫Vimos isso no último vídeo, quando saímos da escola e clicamos em shift tab retorna para significar precisão nos dados de dar e
‫testar e no rótulo.
‫Isso significa que quando tivermos a pontuação definida como nenhuma, ela usará a métrica de avaliação padrão
‫para validação cruzada em nosso classificador.
‫Então, se nós apertarmos shift e entrarmos.
‫Vai retornar os mesmos valores ou pode ser um pouco diferente, certo, porque não montamos
‫um assento nesta célula.
‫Portanto, esses valores serão diferentes dos da escola de Crossville que vemos por aí.
‫Se o tivéssemos executado aqui, teríamos visto valores semelhantes.
‫O que cobrimos aqui?
‫Bem, como você deve ter adivinhado, o parâmetro de pontuação pode ser alterado, certo, então podemos, como diz
‫o analista, podemos importar nosso próprio parâmetro de pontuação aqui.
‫Podemos mudar isso para algo diferente de nenhum.
‫Isso é o que vamos começar a cobrir e vamos dar
‫uma olhada nos próximos vídeos, algumas outras métricas de avaliação do modelo de classificação que podemos usar com validação cruzada.
‫E então por que usamos validação cruzada?
‫Bem, como vimos.
‫Na foto, a validação cruzada visa resolver o problema de não treinar em todos os dados, certo?
‫Então, estamos criando cinco modelos e acabamos tendo um modelo treinado em todos os dados, evitando obter pontuações
‫de sorte.
‫Então, treinamos em uma única divisão e vimos isso em ação.
‫Com nossa pontuação de divisão única aqui obtendo uma pontuação um pouco mais alta do que nossa pontuação de validação cruzada.
‫Bem, isso é lei agora.
‫Ainda temos um pouco mais pela frente.
‫Vamos obter algumas métricas de classificação em profundidade acontecendo.
‫Te vejo no próximo vídeo.