‫Temos nossos dados agora em X, treinar Y, treinar validação X, validação Y, mas em um vídeo anterior, avaliamos nosso
‫modelo usando esta função de pontuação.
‫O que a função da escola usa, ela usa o coeficiente de determinação, mas se a gente
‫lembrar de novo, o topo vai sair do topo só para conferir, porque nós anotamos isso.
‫Sabemos que a métrica de avaliação para esta competição, portanto, para este projeto em que
‫estamos trabalhando é um SLA ou em outras palavras, erro de log quadrático médio.
‫Isso não é o mesmo que coeficiente de determinação.
‫E se você está se perguntando de onde tiramos essa função de avaliação, é da avaliação geral da
‫competição de vacas, que vimos logo no início.
‫Mas vamos verificar isso novamente.
‫Avaliação.
‫Portanto, a métrica de avaliação para esta competição é o AR e certamente podemos pesquisar no Google para ver o
‫que realmente é.
‫Vamos aqui.
‫Raiz significa Laurita ao quadrado.
‫Qual é a diferença entre como você interpreta o erro quadrático médio da raiz?
‫OK, então temos algumas opções lá.
‫Então, se você quiser ler mais, é algo que você pode pesquisar, mas vamos trabalhar
‫nisso no código.
‫Vamos descer.
‫Você pode estar se perguntando por que não vimos ou realmente mencionamos o erro de log quadrático médio da raiz.
‫Isso é um pouco complicado por si só.
‫Então, o que podemos fazer, teremos que criar nossa própria função de avaliação, porque se voltarmos
‫à nossa palestra.
‫Portanto, as métricas de classificação e regressão trabalhando no problema de regressão aqui, este é um dos slides,
‫eu acho, da seção de empréstimos.
‫Temos um erro absoluto principal.
‫Quero dizer, erro quadrático, MSI, OK, raiz do erro quadrático médio.
‫Mas está faltando o componente de log.
‫Vamos ver se conseguimos passar por Escalon.
‫Então, vamos voltar aqui.
‫O que podemos fazer é construir o nosso próprio edifício e uma função de avaliação.
‫Agora, isso é algo que você pode ter que fazer dependendo do projeto em que está trabalhando.
‫Direito.
‫Então, se estamos trabalhando nessa competição de cabo e eles dizem que por algum motivo temos que usar
‫essa métrica, quem sabe?
‫As pessoas que postaram este desafio podem exigir isso.
‫Eles podem ter decidido que esta é sua melhor métrica de avaliação.
‫Dependendo do projeto em que você está trabalhando, pode ser necessário encontrar uma função de avaliação que se adapte melhor
‫ao seu caso de uso.
‫E então o que vamos fazer é criar uma função de avaliação porque vamos executar vários experimentos, queremos
‫alimentar vários modelos de aprendizado de máquina diferentes e avaliá-los.
‫É por isso que vamos construir uma função para que possamos usar essa funcionalidade várias vezes sem ter que nos
‫repetir, porque somos meio preguiçosos quando se trata de escrever todo esse código, sabe?
‫Eu só quero experimentar mais e mais e criar uma função de avaliação.
‫A competição usa a raiz, a média e a quadrada de Loewer imensamente.
‫Então podemos ir de Skyline, Dot, Matrix, eu posso te dizer.
‫Então consigo aprender.
‫Você poderia ir para as métricas de avaliação de Escalon, mas podemos prosseguir aqui, podemos dar uma olhada em algumas
‫métricas de avaliação, erro de log quadrático médio.
‫OK, então podemos usar isso.
‫Quero dizer, erro de log ao quadrado, mas vamos ter que adicionar nosso próprio pequeno pedaço nele, porque isso não é
‫a raiz média ao quadrado mais longa.
‫Então, o que podemos fazer é que eles levem este.
‫Podemos importar isso.
‫Vamos fazer isso.
‫Portanto, a partir das métricas aprendidas por České, importe o erro quadrático principal do log e, por falar nisso, significaria erro absoluto.
‫Você faz previsões em todos os exemplos e, em seguida, deduz suas previsões de seus valores reais e tira
‫a média.
‫Esse é um erro absoluto.
‫Então, qual é a média de sua previsão a partir do preço de venda real?
‫Mas o erro quadrático principal do log tem mais a ver com a razão e, na maioria das vezes, com problemas de regressão.
‫Direito.
‫Se você gostar.
‫Dez dólares de desconto em algo parecido.
‫Portanto, se estivéssemos com um desconto de dez dólares, essa previsão do preço de venda não importaria muito.
‫Mas se estivéssemos com 10 por cento de desconto, seria muito ruim.
‫Direito?
‫Você não quer ser mais do que 10 por cento de qualquer valor inserido em algo.
‫Pode ser 20%, pode ser 30%.
‫Mas essa é a diferença entre esses dois, certo?
‫Sempre que você vê absoluto.
‫Pense nisso como um desconto de dez dólares e toda vez que você vir o quadrado ou algum tipo de registro, ou
‫pense nisso como a proporção.
‫Então, estando com 10 por cento de diferença, é quando esses dois podem realmente compará-los.
‫Mas temos um pouco mais disso no slide.
‫Você pode querer fazer uma captura de tela disso.
‫Essa é muito boa, mas estará tudo no slide.
‫Você pode verificar mais tarde.
‫Queremos criar uma função de avaliação.
‫Temos o erro de registro quadrático principal.
‫Então, como transformaríamos isso em log da raiz quadrada média.
‫Então, vamos experimentar.
‫Então talvez a gente vá aqui.
‫Não quero digitar root significa que é muito r.
‫Raiz S Emslie significa.
‫Laguerre ao quadrado, lindo, e isso pode apenas fazer o teste y por que desfile vai ter
‫as mesmas entradas que minhas funções de aprendizado de Saikat para ver como isso se torna verdade, por que ler pode ser verdade.
‫Pode ser o seu teste.
‫Realmente não importa o motivo do teste.
‫E então vamos aqui, vamos deixar um pouco de medicação para nós mesmos.
‫Calcula a
‫raiz quadrada média do erro de log.
‫Entre predições e rótulos verdadeiros verdadeiros, maravilhoso, e então retornamos myco, o que é bom e simples, podemos apenas usar
‫cada raiz quadrada do erro de log quadrático médio.
‫Terá que passar isso para os valores de teste e as previsões para significar logorréia ao quadrado.
‫Na verdade, isso é muito fácil.
‫O que estamos fazendo aqui, estamos obtendo a raiz quadrada.
‫Então.
‫Direito.
‫Portanto, o componente raiz do erro de log do quadrado principal, a logorréia do quadrado principal entre as previsões e os rótulos
‫verdadeiros.
‫Maravilhoso.
‫Então, criamos nossa própria função de avaliação que se alinha com os requisitos de Cagle, o advogado de média
‫quadrática raiz.
‫OK, e provavelmente queremos verificar mais algumas coisas, como criar uma função de avaliação para verificar algumas coisas ao
‫mesmo tempo, para que não tenhamos que continuar chamando algo assim.
‫Portanto, vamos criar uma função para avaliar o modelo em alguns níveis diferentes.
‫Portanto, novamente, a avaliação é tão importante quanto construir o modelo real.
‫Então, vamos ouvir o modelo de pontuação do programa, então vamos aprová-lo.
‫Nosso modelo.
‫Faremos algumas previsões sobre os dados de treinamento, alguns modelos não prevêem.
‫Portanto, avaliaremos como nosso modelo se saiu no trem de dados de treinamento X e, em seguida, avaliaremos como nosso modelo se
‫saiu no modelo de dados de validação não prevê.
‫Vamos passar a validação x aqui se nosso modelo tiver um desempenho melhor no conjunto de dados de validação que está
‫sugerindo que nosso modelo está superdimensionado.
‫Portanto, entre o treinamento e a validação, geralmente, como nosso conjunto de validação tem apenas 12.000 exemplos e não
‫estamos treinando nosso modelo nele, você gostaria de ver métricas um pouco piores no conjunto de validação,
‫invertendo o conjunto de treinamento.
‫Então nós iremos pontuações iguais.
‫Talvez devolveremos algum tipo de dicionário.
‫sim.
‫O treinamento e eles quero dizer, erro absoluto.
‫Vamos concluir o preenchimento automático do Kitab, erro absoluto médio.
‫Sim eu posso.
‫Por que treinar.
‫Portanto, lembre-se, estamos apenas comparando o trem do porquê.
‫Portanto, este é o erro médio absoluto de treinamento nas etiquetas de treinamento versus as previsões de treinamento e
‫lindas.
‫Nós vamos ser válidos nisso.
‫Então, novamente, você esperaria que essa validade pudesse ser um pouco pior e o treinamento seria, por que válido?
‫E isso vai ser valproato.
‫E então vamos treinar e fazer XLE para erro quadrático médio.
‫E podemos fazer isso usando nossa pequena função sofisticada que acabamos de criar aqui.
‫É empolgante escrever nossas próprias funções de avaliação, talvez seja um pedido de pull, potencial para
‫psicodélico.
‫Me pergunto por que eles não têm erro de log quadrático médio.
‫Talvez não seja tão popular.
‫Ou talvez você mesmo possa criá-lo facilmente assim.
‫Isso está correto?
‫Por que treinar cérebros de trem.
‫Estou falando demais.
‫Não fale.
‫E naumkin da Colgate.
‫Tu podes fazer o que quiseres.
‫Aqui vamos nós.
‫Aqui o FSLIC, exceto não subavaliar seu modelo de aprendizado de máquina.
‫Essa é a única coisa que você não tem permissão para fazer.
‫Todo mundo adora um bom modelo, mas todo mundo adora ainda mais um modelo de aprendizado de máquina bem avaliado.
‫E, finalmente, para uma boa medida, já que estamos aqui, vamos fazer a pontuação padrão e apenas importar isso.
‫É provavelmente um pouco melhor tentar marcar.
‫O que é isso porque o preenchimento automático da guia não está funcionando está me causando alguns problemas, então temos que perguntar apenas
‫em uma pontuação AA2.
‫Sim, confie nos seus instintos, Daniel.
‫Vamos.
‫São para a escola.
‫Então é só isso que estamos mudando.
‫Em vez de recalcular, algo será apenas importante.
‫Agora, esta é uma função bastante decente, não vou mentir.
‫Ele cuida de algumas coisas e provavelmente é alguma redundância que poderíamos consertar.
‫Mas isso mesmo.
‫Estamos tentando experimentar o mais rápido possível.
‫Você pode estar pensando que os experimentos estão ficando mais lentos, mas com sua própria prática, sem ter
‫que me ouvir falar e passar por esse tipo de coisas, você estará fazendo experimentos rapidamente.
‫Vocês.
‫Não, isso está errado, não é?
‫Precisa ser Valpreda, é lindo, e vamos devolver os resultados.
‫OK, então o que fizemos aqui?
‫Portanto, construímos uma função de avaliação alinhada com o que é necessário para este projeto específico.
‫E, em nosso caso, é a raiz média ao quadrado.
‫Noguera, vou ficar rouco dizendo que, se continuar fazendo isso e criarmos outra pequena função
‫auxiliar que fará um monte de outras métricas, fará algumas previsões usando um
‫modelo para o qual passamos.
‫E então vai comparar essas previsões em um monte de campos de
‫jogo diferentes no erro absoluto principal, na raiz do erro médio quadrático logarítmico e no coeficiente de determinação.
‫Então, isso é realmente o suficiente para este vídeo construindo nossas próprias funções de avaliação personalizadas.
‫Agora, novamente, isso é algo que você pode querer fazer em seus próprios projetos, porque estamos executando o maior
‫número de experimentos possível.
‫É útil ter funções de avaliação como essa, para que você possa fazer rapidamente um monte de coisas
‫diferentes, em vez de ter que redigitar isso toda vez que tentarmos um novo modelo.
‫Mas.
‫Vamos mudar um intermezzo, nossas funções são instanciadas e vamos tentar testá-las no próximo
‫vídeo.