‫Entonces, la métrica de evaluación del modelo de clasificación final que vamos a ver es un informe de
‫clasificación y ahora realmente un informe de clasificación es también una colección de diferentes métricas de evaluación en lugar de
‫una sola.
‫Así que de ahí viene el informe.
‫Es una especie de informe de varios parámetros diferentes que evalúan nuestro modelo de clasificación.
‫Veamos uno en acción, así que de České tipo de Informe de clasificación de importación de matriz.
‫Para hacerlo, solo postulamos algunas etiquetas verdaderas, OK, ¿por qué probar y algunas predicciones?
‫Una vez más, esta métrica de evaluación solo compara las etiquetas verdaderas de nuestros datos con las predicciones que
‫hizo nuestro modelo.
‫Entonces veamos qué pasa aquí.
‫Está bien.
‫Las pocas cosas que están sucediendo, obtuvimos una memoria de precisión, tenemos un apoyo escolar, cero, tal vez eso sea
‫para la clase cero cuatro, no una enfermedad cardíaca.
‫Quizás sea por una enfermedad cardíaca.
‫Si bajamos con un punto de precisión setenta y cinco macro promedio.
‫Peso promedio.
‫Mmm.
‫¿Que está pasando aqui?
‫Bueno, vayamos a nuestro Keano, eche un vistazo a nuestra anatomía del informe de clasificación.
‫Así que aquí vemos que tiene lo mismo, solo importe el informe de clasificación.
‫Hicimos uno en las etiquetas de prueba y las predicciones.
‫Algunos números ligeramente diferentes aquí.
‫¿Qué hay en nuestro cuaderno?
‫Pero eso esta bien.
‫Entonces, ¿qué es precisión o precisión indica la proporción de identificaciones positivas, por lo que a. k. una. el modelo predijo
‫la Clase Uno, que en realidad eran correctas.
‫Ahora un modelo que no produce falsos positivos como precisión de uno.
‫Entonces eso es lo que podemos ver, nuestras puntuaciones de precisión si el modelo no produjo falsos positivos.
‫Y sabemos que nuestro modelo no lo ha hecho porque hemos visto la clasificación de la matriz de
‫confusión y la hemos visto confusa en algunos ejemplos, y los predice como falsos positivos.
‫Entonces, nuestros puntajes de precisión son un poco más bajos que uno.
‫Ahora, el siguiente es recordar.
‫Por tanto, recordar indica la proporción de positivos reales que se clasificaron correctamente.
‫Ahora, un modelo que no produce falsos negativos tiene un recuerdo de un punto cero.
‫Y nuevamente, sabemos por nuestra matriz de confusión que este no es el caso.
‫Así que nuestro recuerdo es un poco menor.
‫Ahora, la puntuación de F1 es una combinación de precisión y recuerda un modelo perfecto que logra una puntuación de F1 de un punto
‫cero.
‫Bien, cuando vemos que nuestro puntaje de F1 no es un punto cero, pero sigue siendo relativamente alto si lo
‫apoyamos.
‫La cantidad de muestras en las que se calculó cada métrica, por lo que vemos aquí.
‫Entonces esto significa que miramos este 29, entonces miramos eso, eso es cuatro cero aquí en 61.
‫Eso significa que estas métricas aquí se calcularon en 61 muestras diferentes.
‫Y estas métricas aquí se calcularon en 29 muestras, que tenían la etiqueta de clase cero, y esta es
‫32 con la etiqueta de clase uno. AK tiene enfermedad cardíaca.
‫Entonces, si sumas estos veintinueve más 32, obtienes 61, ya sabes, precisión.
‫Lo hemos visto antes.
‫Esta es solo la precisión del modelo en forma decimal, la precisión perfecta es 1. 0, a. k. una. nuestro modelo hace
‫predicciones correctas el 100 por ciento del tiempo.
‫Si la precisión es 1. 0, luego echamos un vistazo al promedio macro.
‫Ahora, ¿cuál es esa abreviatura de macropromedio, como habrás adivinado?
‫Así que es el recuerdo de precisión promedio y las puntuaciones de F1 entre clases.
‫Ahora, la clave aquí es que el promedio macro no tiene en cuenta la clase y el equilibrio en esto debería tener en cuenta el efecto.
‫Así que finge que esto es una cuenta.
‫Entonces, si tiene desequilibrios de clases, preste atención a esta métrica.
‫Bien, en nuestro caso, ¿qué clase de desequilibrio?
‫Bueno, si miras nuestro ejemplo, aquí no tenemos desequilibrios de clases.
‫¿Porqué es eso?
‫Bueno, porque tenemos relativamente la misma cantidad de muestras con Clase Cero y Clase Uno, lo que significa que tenemos una
‫división de 50/50 aquí.
‫No es exactamente 50/50, pero no es como si tuviéramos 60 ejemplos de clase uno y un ejemplo de clase
‫cero.
‫Entonces tenemos alrededor de 30 en cada uno.
‫Entonces, si tuvo desequilibrios de clases, ¿realmente desea verificar su promedio macro ahora?
‫Debido a nuestro ejemplo, las clases están relativamente equilibradas.
‫Es por eso que el promedio macro y el promedio ponderado por déficit promedio ponderado del promedio ponderado es una recuperación
‫de precisión y la puntuación F1 entre clases ponderada significa que cada métrica se calcula con respecto a
‫cuántas muestras hay en cada clase.
‫Entonces esta métrica favorecerá a la mayoría.
‫La clase, por ejemplo, dará un valor alto cuando una clase supere a otra debido a que tiene más muestras.
‫Por eso, nuestros valores aquí son bastante similares, porque tenemos clases de equilibrio.
‫Ahora, podría estar pensando es ¿qué tipo de situación sería en la que estos valores estarían fuera de
‫control?
‫Derecha.
‫¿Dónde pasaría esto?
‫Y también podría estar pensando que hemos aprendido un montón de métricas diferentes aquí.
‫Volvemos a nuestro cuaderno.
‫Hemos repasado los informes de clasificación, hemos hecho confusión, matriz, hemos hecho precisión.
‫Hemos hecho el área bajo la curva ROC.
‫Entonces, ¿cuándo debería usar cada uno de estos?
‫Así que ahora hemos pasado por ellos.
‫Puede ser tentador pensar, bueno, ¿por qué no me deshago de todos estos otros
‫que realmente tengo problemas para comprender y solo uso la precisión?
‫Bueno, tengamos un ejemplo.
‫Veamos cuándo entran en juego otras métricas.
‫Y tal vez no deberías simplemente usar la precisión porque esta es una trampa en la que quedé atrapado.
‫Cuando comencé a construir modelos de clasificación, pensé, sí, mi modelo está obteniendo un 90 por
‫ciento de precisión.
‫Debe ser un gran modelo.
‫Veamos un escenario.
‫Entonces, por ejemplo, digamos que había 10000 personas y una de ellas tenía una enfermedad y se le pide que construya
‫un modelo para predecir quién la padece.
‫Está bien.
‫Así que hagámoslo de verdad.
‫Sigamos con esto.
‫Así que aquí es donde la precisión y la memoria se vuelven valiosas.
‫Y, de hecho, todas las métricas de nuestro informe de clasificación se vuelven valiosas aquí.
‫Entonces enfermedad, cierto.
‫Entonces había 10000 personas y una de ellas tenía una enfermedad.
‫Entonces, lo que podríamos hacer es crear un imperio de 10000 personas y luego podríamos cambiar uno de estos.
‫Puedo deletrear enfermedad.
‫Es un índice cero de enfermedad igual a uno, por lo que solo hay un caso positivo.
‫Entonces, si venimos aquí y decimos que nuestro modelo predice o que la enfermedad se propaga es igual y cero
‫10000 ahora, esto significa que el modelo predice cada caso como cero.
‫Está bien.
‫Y luego lo que vamos a hacer es crear el marco de datos para que podamos visualizar este informe de clasificación, ¿y si eso es lo
‫que hizo nuestro modelo?
‫Derecha.
‫Esto es lo que está pasando aquí.
‫Enfermedad, verdad.
‫Entonces, solo hay un caso positivo, uno en 10000.
‫Y construimos un modelo y nuestro modelo predice que cada caso es cero.
‫Entonces pierde la predicción.
‫¿Qué pasaría si construimos una clasificación?
‫Informes de una enfermedad gay.
‫Verdadero.
‫Llegamos aquí.
‫La enfermedad se propaga.
‫Quiero pasar este pequeño parámetro para que encaje bien en un marco de datos, por lo que el dict de salida es igual.
‫Entonces.
‫¿Que esta pasando aqui?
‫Miramos esto, este es solo otro formato de este informe de clasificación aquí arriba si no hicimos
‫esto.
‫Se airearía, así que esto es solo para visualizar lo que está sucediendo, es cierto.
‫Así que este es un buen ejemplo, correcto, de dónde desea usar otra métrica que no sea la precisión es cuando
‫tiene un desequilibrio de clase muy grande.
‫Entonces, en nuestro caso, tenemos un desequilibrio de clases masivo porque en nuestro conjunto de datos original, enfermedad
‫igual a verdadero es solo un ejemplo.
‫Entonces, solo un ejemplo de dónde se ganaría el trabajo y todo lo demás es cero.
‫Hemos construido un modelo que solo predice cero para cada caso.
‫Correcto, porque es solo una muestra.
‫Es realmente difícil aprender que existe un patrón para este caso en particular.
‫Entonces, lo que sucede es que si midiéramos solo la precisión en nuestro modelo que se predice cero para todo, sale
‫con una precisión de cero coma nueve nueve o, en otras palabras, 99 por ciento.
‫Y entonces pregúntese, aunque el modelo alcanza el noventa y nueve coma nueve por ciento de precisión, ¿sigue siendo
‫útil el modelo?
‫Derecha.
‫Es por eso que miramos estas otras métricas, como el promedio macro, ahí es donde podemos
‫decir, OK, nuestros modelos están cayendo aquí en la posición.
‫En realidad, está obteniendo precisión cero para la clase uno, lo que tiene sentido porque ni siquiera predijo
‫la clase uno.
‫Y aquí está obteniendo básicamente el 100 por ciento en la Clase cero porque solo ha predicho la clase cero.
‫Entonces, este es un tipo de escenario de caso de uso en el que desea asegurarse de que está utilizando
‫un amplio espectro de métricas de evaluación para sus modelos de clasificación y no solo la precisión.
‫Y ahora solo hemos mencionado algunas de las métricas que puede usar para evaluar un algoritmo
‫de clasificación, pero hay algunas más.
‫Entonces, si quieres ver más, vamos aquí, evaluación del modelo, aprender Saikat.
‫Veremos la documentación.
‫Si vienes aquí, esto es un poco extracurricular. Echa un vistazo a esta sección aquí.
‫Así que todo lo que hice fue ir a la documentación del préstamo de socket para la evaluación del modelo.
‫Llegamos a la clasificación.
‫Podemos ver algunos aquí, los que hemos cubierto.
‫Entonces, los que hemos cubierto son probablemente lo mínimo que desea usar, ¿verdad?
‫Entonces, área de precisión debajo de la curva de la roca o verá confusión, matriz y informe de clasificación.
‫Así que guárdelos en su bolsa de herramientas.
‫Y si necesita más, asegúrese de consultar la documentación.
‫Así que eso va a resumir nuestras métricas de evaluación específicas de clasificación.
‫Vamos a sumergirnos en la siguiente sección.
‫Veremos algunas métricas de evaluación del modelo de regresión más específicas.