‫Agora, acabamos de cobrir a precisão como um método de avaliação de nossos modelos de classificação, e você pode estar pensando, por
‫que não podemos simplesmente deixar por isso mesmo?
‫Bem, à medida que começarmos a examinar essas outras métricas aqui, você começará a entender por que pode ser
‫importante obter mais algumas métricas de avaliação diferentes no quadro, em vez de apenas precisão.
‫No meu caso, quando eu estava aprendendo a construir modelos de classificação, eu sempre pensava, sim,
‫apenas maior precisão é melhor.
‫Direito?
‫E então, lentamente, depois de olhar para diferentes exemplos, eu começo a perceber, OK, agora eu vejo o
‫valor de usar outras métricas como essas, mas não vamos falar sobre isso.
‫Vamos ver em ação.
‫O próximo que vamos cobrir é a área sob a operação do receptor, portanto, a área sob a curva
‫característica de operação do receptor.
‫O bonito é que também é conhecido como U. S. Portanto, área sob a curva ou óssea.
‫Portanto, característica de operação do receptor.
‫Então, vamos fazer essa curva RRC.
‫Portanto, essas são as duas coisas pelas quais você deve cuidar.
‫Área sob a curva ou curva da rocha.
‫Eu colocaria aqui.
‫Você vê ou.
‫Rakove, lindo, então se você ouvir alguém falando sobre AUC ou ARACY ou Rock ou algo assim, provavelmente está
‫falando sobre essa métrica aqui.
‫Agora, o que uma curva de rocha mede?
‫Bem, por definição formal, uma curva de rocha é uma comparação da taxa de verdadeiro positivo de um modelo versus o falso positivo
‫de um modelo.
‫Direito.
‫Vamos escrever isso.
‫Aqui está uma comparação entre a taxa de verdadeiro positivo de um modelo, também conhecida como TPA e o falso positivo de um
‫modelo.
‫Direito.
‫Que também é conhecido como FPO.
‫Agora, você deve estar se perguntando, OK, o que é verdadeiro, positivo e o que é falso positivo?
‫Bem, vamos dar uma olhada aqui.
‫O modelo de uma verdadeira águia positiva prediz uma quando a verdade faz sentido.
‫Portanto, em nosso caso, se dermos uma olhada aqui, se os alvos reais forem um ou zero, um verdadeiro positivo é quando
‫nosso modelo prevê um.
‫O verdadeiro rótulo é um.
‫Ok, sim, isso faz sentido.
‫Portanto, se formos aqui, um modelo de is falso positivo prevê um quando a verdade é zero.
‫Então, por que isso é chamado de falso positivo?
‫Bem, é porque está prevendo um.
‫Portanto, a classe positiva tem doenças cardíacas quando a verdade é zero.
‫Portanto, está nos dando uma sensação de falso positivo de que uma pessoa pode ter uma doença cardíaca em nosso
‫caso particular de problema de classificação de doença cardíaca.
‫E então, se formos aqui, um verdadeiro negativo.
‫O modelo do Google prevê zero quando a verdade é zero.
‫Então isso faz sentido.
‫Portanto, está prevendo que o modelo está obtendo a previsão certa.
‫É possível prever que alguém não tem doença cardíaca, quando na verdade não tem.
‫Isso é ótimo.
‫E então um modelo de falso negativo igual prevê.
‫O que você acha que esse será?
‫Falso negativo.
‫Nós olhamos para falso positivo.
‫Um falso negativo é quando o modelo prevê zero quando a verdade é ganha.
‫Então isso é porque ele não está prevendo doenças cardíacas quando na verdade é uma doença cardíaca, certo?
‫Agora que sabemos disso, podemos ver que uma curva de rocha é uma comparação do verdadeiro positivo de um modelo.
‫Direito.
‫TPA versus erros de digitação em todos os lugares.
‫E você vem, esse é um falso positivo do modelo, certo.
‫Ou fpr.
‫Então agora sabemos disso.
‫Vamos vê-lo em ação para que possamos fazer isso usando a Biblioteca de Métricas de Empréstimos Saikat, vamos importar
‫curva diz ver Rakove nossa curva e então vamos fazer previsões com probabilidades.
‫E como podemos fazer previsões com probabilidades.
‫Vimos isso ao fazer previsões.
‫Podemos fazer isso explicando por que probs é igual a clifftop predizem a probabilidade de limite.
‫Vamos fazer algumas previsões sobre os dados de teste.
‫Agora, eu só quero ter certeza de que talvez façamos isso quando criarmos.
‫Crie o teste X apenas para ter certeza de que é o teste X correto, teste X de dados.
‫Etc. , Então, queremos ir aqui X treinar, X testar.
‫Por que treinar, por que treinar veículos de teste para dividir o tamanho x Y é igual a zero vírgula dois, maravilhoso.
‫E agora podemos fazer isso lá, porque uma curva de rocha é uma comparação da taxa de verdadeiro positivo de um modelo versus o
‫falso positivo de um modelo, certo.
‫Queremos manter apenas as classes positivas.
‫Então, na verdade, vamos ver o que investigamos.
‫Parece que são meus problemas.
‫Por que isso não funcionou?
‫O que temos aqui?
‫Esta floresta tropical classificada ainda não está equipada.
‫Ajuste de chamada.
‫Oh, isso faria sentido.
‫Então, nós queremos.
‫O classificador, é claro, você não pode fazer previsões sem sem ajustá-las, sem que o modelo
‫aprenda quaisquer padrões.
‫Então, vamos encaixá-lo aqui, então faremos algumas previsões e daremos uma olhada nisso, talvez apenas
‫os primeiros 10.
‫Portanto, não estamos ocupando nosso espaço pessoal.
‫OK, linda.
‫E assim porque nossa curva rosada.
‫Apenas é uma comparação da taxa de verdadeiro positivo de um modelo versus uma taxa de falso positivo, queremos apenas as probabilidades que
‫o modelo previu para a classe positiva.
‫Então, se você imaginar aqui nossos modelos tentando prever zero ou um.
‫Esta é uma probabilidade de que o rótulo seja zero.
‫E essa é a probabilidade de que o rótulo seja um e assim por diante para todas essas amostras até
‫que termine.
‫Portanto, haverá quantos estão no conjunto de teste aqui.
‫Sessenta e um vai ser sessenta e um deles.
‫Então, essencialmente, o que queremos é por que as probs são positivas?
‫Então essa é a probabilidade de que seja a classe positiva, ato zero é a classe negativa
‫e um é a classe positiva, por que os problemas usarão algum fatiamento aqui, mas apenas a coluna um de cada linha
‫para que possamos fazer isso.
‫Só para você saber, o que está acontecendo, positivo.
‫E veremos apenas o primeiro Hanigan.
‫Então, isso faz sentido, estamos obtendo zero vírgula quatro três sim, zero vírgula sete sete sim, zero vírgula quatro oito e assim por
‫diante, e assim por diante, para toda a lista de problemas do porquê.
‫E agora podemos calcular FBAR e Threshold's.
‫Então, para os Eagles, Teper Threshold's, por que eu sei que isso verá isso em um segundo?
‫Por que eu sei que esta vai ser a curva ROC do limite do carma do comentário fpr?
‫Nós vamos passar.
‫Por que testar e por que Rob é positivo.
‫Agora, como você descobriria o que o amor do rock retorna neste caso?
‫Bem, o que eu faria é um guia opressor e é assim que eu sei.
‫Então temos a curva Roc.
‫Leva y.
‫Verdade.
‫Então esses são nossos rótulos de teste.
‫É preciso pontuação Y.
‫Então esse é o nosso probs positivo.
‫E se descermos aqui, calcule a rocha característica de operação do receptor.
‫Sim.
‫Parâmetros bonitos agora.
‫Por que é verdade, por que as pontuações alvo de pontuação podem ser estimativas de probabilidade dos valores de confiança de
‫classe positivos ou medidas não-limite da decisão.
‫Então essas são as estimativas de probabilidade da classe positiva.
‫É daí que tiramos essa fatia.
‫Direito.
‫E então, se descermos aqui, isso vai nos dizer quais são os nossos retornos, aumentando as taxas de falsos
‫positivos, de modo que o elemento AI é uma taxa de previsões de falsos positivos com pontuação acima dos limites TPA.
‫Então essa é uma taxa e limites positivos verdadeiros.
‫Então é assim que podemos descobrir o que uma função retorna.
‫E, novamente, isso é apenas ver o barbante em um caderno egípcio.
‫Você sempre pode consultar a documentação para isso.
‫Se você quiser fazer isso, pode pesquisar algo como calcular a curva de Roc para que eu possa aprender.
‫Então, vamos verificar as taxas de falsos positivos.
‫FPA lindo.
‫Isso está nos dando uma grande variedade.
‫Mas olhar para eles por conta própria não faz muito sentido.
‫É muito mais fácil ver isso visualmente.
‫E uma vez que I getline realmente não tem uma função incorporada para traçar uma curva de rocha, o que podemos ter que fazer
‫é, e muitas vezes você se depara com isso, é que você terá que encontrar uma função ou escrever a
‫sua própria.
‫Isso vai bastar para você.
‫Então é isso que vamos dar uma olhada no próximo vídeo e traçar uma curva de rocha.
‫E esta função aqui, ROC Curve vai começar a fazer um pouco mais de sentido ao invés de ser apenas um array
‫de números.