‫Ahora, acabamos de cubrir la precisión como un método para evaluar nuestros modelos de clasificación, y es posible que
‫esté pensando, ¿por qué no podemos dejarlo así?
‫Bueno, a medida que comencemos a analizar estas otras métricas aquí, comenzará a comprender por qué podría ser importante
‫obtener algunas métricas de evaluación más diferentes en el tablero en lugar de solo precisión.
‫En mi caso, cuando estaba aprendiendo por primera vez a construir modelos de clasificación, siempre pensaba, sí, solo
‫una mayor precisión es mejor.
‫¿Derecha?
‫Y luego, poco a poco, después de mirar diferentes ejemplos, empiezo a darme cuenta, está bien, ahora veo
‫el valor de usar otras métricas como estas, pero no hablemos de eso.
‫Veámoslo en acción.
‫El siguiente que vamos a cubrir es el área debajo del receptor operando, así que el área debajo de la
‫curva característica de operación del receptor.
‫Lo hermoso es que también se conoce como U. S. Entonces área bajo curva u ossy.
‫Así que la característica de funcionamiento del receptor.
‫Entonces hagamos esta curva RRC.
‫Así que estas son las dos cosas que buscará.
‫Área bajo curva o curva de roca.
‫Lo pondría aquí.
‫¿Ves o.
‫Rakove, hermoso, así que si escuchas a alguien hablar sobre AUC o ARACY o Rock o algo así, probablemente esté
‫hablando de esta métrica aquí.
‫Ahora bien, ¿qué mide una curva de roca?
‫Bueno, por definición formal, una curva de roca es una comparación de la tasa de verdaderos positivos de un modelo versus los falsos positivos
‫de un modelo.
‫Derecha.
‫Escribamos eso.
‫A continuación, se muestra una comparación de la tasa de verdaderos positivos de un modelo, que también se conoce como TPA frente al falso positivo de
‫un modelo.
‫Derecha.
‫Que también se conoce como FPO.
‫Ahora, es posible que se esté preguntando, está bien, ¿qué es verdadero, positivo y qué es un falso positivo?
‫Bueno, echemos un vistazo aquí.
‫El modelo de un verdadero águila positiva predice uno cuando la verdad es una que tiene sentido.
‫Entonces, en nuestro caso, si echamos un vistazo aquí, si los objetivos reales son uno o cero, un verdadero positivo es cuando
‫nuestro modelo predice uno.
‫La etiqueta real es una.
‫Está bien, sí, eso tiene sentido.
‫Entonces, si vamos aquí, un modelo falso positivo predice uno cuando la verdad es cero.
‫Entonces, ¿por qué se llama falso positivo?
‫Bueno, es porque está prediciendo uno.
‫Entonces, la clase positiva tiene una enfermedad cardíaca cuando la verdad es cero.
‫Por lo tanto, nos está dando una sensación falsamente positiva de que una persona puede tener una enfermedad cardíaca en nuestro
‫caso particular de problema de clasificación de enfermedades cardíacas.
‫Y luego, si vamos aquí, un verdadero negativo.
‫El modelo de Google predice cero cuando la verdad es cero.
‫Entonces eso tiene sentido.
‫Entonces, predecir que el modelo está obteniendo la predicción correcta.
‫Se predice que alguien no tiene una enfermedad cardíaca cuando en realidad no es así.
‫Eso es genial.
‫Y luego, un modelo falso negativo es igual a lo que predice.
‫¿Qué crees que será este?
‫Falso negativo.
‫Observamos falsos positivos.
‫Un falso negativo es cuando el modelo predice cero cuando se gana la verdad.
‫Entonces eso es porque no predice una enfermedad cardíaca cuando en realidad es una enfermedad cardíaca, ¿verdad?
‫Entonces, ahora que los conocemos, podemos ver que una curva de roca es una comparación del verdadero positivo de un modelo.
‫Derecha.
‫TPA versus errores tipográficos en todas partes.
‫Y vamos, esto es un falso positivo de un modelo, ¿no?
‫O fpr.
‫Entonces ahora sabemos esto.
‫Veámoslo en acción para que podamos hacer esto usando la biblioteca de métricas de préstamos de Saikat, vamos a importar la
‫curva que dice ver Rakove nuestra curva y luego vamos a hacer predicciones con probabilidades.
‫¿Y cómo podemos hacer predicciones con probabilidades?
‫Vimos esto al hacer predicciones.
‫Podemos hacer eso con la razón por la que probs es igual a la predicción de la probabilidad desde lo alto de un acantilado.
‫Haremos algunas predicciones sobre los datos de la prueba.
‫Ahora, solo quiero asegurarme de que quizás hagamos eso cuando creamos.
‫Cree la prueba X solo para asegurarse de que sea la prueba X correcta, la prueba X de datos.
‫Etc. , Entonces queremos ir aquí X tren, X prueba.
‫Por qué entrenar, por qué los vehículos de prueba entrenan para dividir x Y el tamaño es igual a cero punto dos, maravilloso.
‫Y ahora podemos hacer eso allí, porque una curva de roca es una comparación de la tasa de verdaderos positivos de un modelo versus los
‫falsos positivos de un modelo, ¿no?
‫Queremos mantener solo las clases positivas.
‫Entonces, en realidad, veamos qué problemas tenemos.
‫Parece que son mis problemas.
‫¿Por qué no ha funcionado esto?
‫¿Qué tenemos aquí?
‫Este bosque lluvioso clasificado aún no está instalado.
‫Llame al ajuste.
‫Oh, eso tendría sentido.
‫Así que queremos.
‫El clasificador, por supuesto, no puede hacer predicciones sin ajustarlas, sin que el modelo aprenda
‫ningún patrón.
‫Así que lo ajustaremos aquí, luego haremos algunas predicciones y veremos esto, tal vez solo
‫las primeras 10.
‫Así que no le estamos quitando espacio a nuestra gente.
‫OK hermosa.
‫Y así porque nuestra curva rosada.
‫Solo es una comparación de la tasa de verdaderos positivos de un modelo versus una tasa de falsos positivos, solo queremos probabilidades que
‫el modelo ha predicho para la clase positiva.
‫Entonces, si imagina aquí nuestros modelos tratando de predecir cero o uno.
‫Ésta es una probabilidad de que la etiqueta sea cero.
‫Y esta es la probabilidad de que la etiqueta sea una y así sucesivamente para todas estas muestras hasta
‫que termine.
‫Así que habrá muchos en el conjunto de pruebas aquí.
‫Sesenta y uno van a ser sesenta y uno de ellos.
‫Entonces, esencialmente, lo que queremos es ¿por qué los problemas son positivos?
‫Entonces, estas son las probabilidades de que sea la clase positiva, el acto cero es la clase negativa
‫y uno es la clase positiva, por qué los problemas van a usar algunos cortes aquí, pero solo la columna uno de cada fila
‫para que podamos hacer eso.
‫Solo para que puedas saber lo que está pasando, positivo.
‫Y solo veremos al primer Hanigan.
‫Entonces esto tiene sentido, estamos obteniendo cero coma cuatro tres sí, cero coma siete siete sí, cero coma cuatro ocho y así
‫sucesivamente, y así sucesivamente para la lista completa de por qué problemas.
‫Y ahora podemos calcular FBAR y Threshold's.
‫Entonces, para los Eagles, Teper Threshold's, ¿por qué sé que esto verá esto en un segundo?
‫¿Por qué sé que va a ser la curva ROC del umbral de karma del comentario de fpr?
‫Lo vamos a pasar.
‫Por qué hacer la prueba y por qué Rob da positivo.
‫Ahora bien, ¿cómo averiguarías qué rock love regresa en este caso?
‫Bueno, lo que yo haría es una pestaña opresiva y así es como lo sé.
‫Entonces obtuvimos la curva Roc.
‫Se necesita y.
‫Verdadero.
‫Así que esas son nuestras etiquetas de prueba.
‫Se necesita una puntuación de Y.
‫Así que esos son nuestros problemas y positivos.
‫Y si venimos aquí, calculemos la roca característica de funcionamiento del receptor.
‫Sí.
‫Hermosos parámetros ahora.
‫Por qué es cierto, por qué las puntuaciones objetivo de puntuación pueden ser estimaciones de probabilidad de los valores de confianza de clase
‫positivos o medidas sin umbral de la decisión.
‫Entonces esas son las estimaciones de probabilidad de la clase positiva.
‫De ahí es de donde obtuvimos esta porción.
‫Derecha.
‫Y luego, si venimos aquí, nos dirá cuáles son nuestros retornos, aumentando las tasas de falsos positivos, de modo
‫que el elemento AI sea una tasa de predicciones de falsos positivos con una puntuación por encima de los umbrales TPA.
‫Así que esa es una tasa y unos umbrales verdaderamente positivos.
‫Así es como podemos averiguar qué devuelve una función.
‫Y nuevamente, eso es solo ver la cadena en un cuaderno egipcio.
‫Siempre puede consultar la documentación para esto.
‫Si quisiera hacerlo, podría buscar algo como cómo calcular la curva Roc para que yo pueda aprender.
‫Entonces, vamos a comprobar las tasas de falsos positivos.
‫FPA hermosa.
‫Eso nos da una gran variedad.
‫Pero mirar esto por sí solo no tiene mucho sentido.
‫Es mucho más fácil verlo visualmente.
‫Y dado que getline realmente no tiene una función incorporada para trazar una curva de roca, lo que podríamos tener que
‫hacer es, y muy a menudo te encuentras con esto, tendrás que encontrar una función o escribir la tuya
‫propia.
‫Eso lo hará por ti.
‫Así que eso es lo que vamos a ver en el siguiente video que trazará una curva de roca.
‫Y esta función aquí, Curva ROC comenzará a tener un poco más de sentido en lugar de ser solo una matriz
‫de números.