‫Ahora, hemos visto los hiperparámetros de nuestro modelo de regresión logística, y está obteniendo
‫una puntuación bastante buena aquí, pero recuerde esta puntuación, la puntuación predeterminada para un clasificador es la precisión.
‫Lo que queremos hacer ahora es crear algunas métricas de evaluación en torno a nuestro modelo que van un poco más allá de
‫la precisión.
‫Más específicamente, creemos nuestro modelo de aprendizaje automático ajustado, en realidad clasificadores de aprendizaje automático para uno
‫mejor.
‫Estas métricas de evaluación son específicas de la clasificación, por lo que vamos a ir más allá de la precisión.
‫Entonces, nuevamente, más específicamente, queremos una curva RSI y una U. S. puntaje.
‫También queremos una matriz de confusión, poniendo fallas allí que en realidad parecían de The Matrix con muchos
‫números.
‫Ya sabes, esa pantalla verde que fluye, quieren un informe de clasificación.
‫¿Qué más queremos?
‫Queremos una recuperación de precisión y una puntuación de F1, y sería genial.
‫Y sería fantástico si se utilizara la validación cruzada siempre que fuera posible.
‫Así que convierta eso en rebajas.
‫Esto es en lo que vamos a trabajar, utilizaremos nuestro modelo de regresión logística, búsqueda de
‫cuadrícula anticuada, así como el mejor tipo de parámetros para ello.
‫Y veremos dónde entran en juego en un segundo.
‫Entonces, en primer lugar, cuando evaluamos un modelo, siempre se compara cómo se comparan las predicciones de un
‫modelo entrenado con las etiquetas de verdad.
‫Entonces, lo que tenemos que hacer es hacer algunas predicciones primero para poder compararlas con las etiquetas de verdad, a. k. una.
‫las etiquetas en el conjunto de datos de prueba por qué.
‫Así que hagámoslo.
‫Muy bien, una nota aquí para hacer comparaciones y evaluar nuestro modelo entrenado.
‫Primero, necesitamos hacer predicciones.
‫Entonces, lo que haremos es hacer predicciones con el modelo ajustado y hay una hermosa función llamada predecir que podemos usar para eso, así que
‫la guardaremos en ¿por qué desfiles?
‫Usamos G. S. Log Regg, que es solo nuestra versión de tren de nuestro modelo de búsqueda de cuadrícula, Segers Log.
‫Regg, no predigas.
‫Y vamos a predecir con los datos de prueba por qué.
‫Maravilloso.
‫Y veámoslos solo para asegurarnos de que no nos volvemos locas hermosas.
‫Y ahora tenemos que compararlos con el conjunto de datos de prueba.
‫Así que echamos un vistazo a esto aquí.
‫Bien, si quisiéramos ir a cero cero, podemos saber que se ha equivocado.
‫¿Se supone que hay un cero allí?
‫Porque estas son las etiquetas de la verdad y luego podríamos seguir adelante, pero no vamos a
‫hacer eso.
‫Queremos usar algún código para hacer eso.
‫Lo primero es lo primero, queremos hacer una curva de rock porque recuerda que tenemos esta pequeña lista, la curva de
‫carrera ascendente y la escuela AUC.
‫Mmm.
‫¿Qué es una curva de roca?
‫Bueno, si miramos hacia arriba y lo que es una curva de roca.
‫Pasamos por este proceso de comprensión de A. S. Rockhead, si tuviéramos que leer esto.
‫Lo que obtendríamos es que la roca se crea trazando la tasa de verdaderos positivos contra la tasa de falsos
‫positivos en varios valores de umbral.
‫OK hermosa.
‫Entonces, veamos cómo lo hacemos, la curva de la roca es una forma de entender cómo se está desempeñando su
‫modelo al comparar la tasa de verdaderos positivos con los falsos positivos.
‫Derecha.
‫Y si queremos averiguar qué es un verdadero positivo y un falso positivo, podemos echar un vistazo a nuestra
‫matriz de confusión para eso.
‫Entonces, un modelo positivo verdadero predice uno cuando la verdad es uno y un falso positivo es solo el modelo predice uno cuando se
‫supone que la verdad es cero.
‫Y un modelo perfecto va a tener un ojo, ves escuela, lo que vemos en un segundo de 1. 0.
‫Entonces veamos cómo lo hacemos.
‫Por lo tanto, importe la función de curva RISC de Escalon, matriz de puntos.
‫De ahí es de donde es.
‫Ahí es donde vive.
‫Pero en realidad ya lo hicimos, al igual que con todas las demás funciones de Skyland que hemos estado usando en
‫la parte superior.
‫Vuelve aquí arriba.
‫Así que estas son evaluaciones de modelos ahora mismo en la siguiente sección.
‫En el próximo video, abordaremos todo desde aquí.
‫Entonces, aquí podemos ver que tenemos un aleatorizador de una búsqueda de cuadrícula, una curva de diagrama de matriz de confusión que estamos
‫a punto de usar registros escolares de precisión, escuela, EF1, escuela.
‫Estos son para nuestro modelo de clasificación.
‫Así que bajemos.
‫Podemos guardarnos una línea de código, en realidad no tenemos que importarla.
‫Regresaremos aquí, simplemente podemos trazar la curva Roc.
‫Ahora, esta es una adición relativamente nueva a esta biblioteca de segunda línea, con la que estoy muy, muy
‫contento, porque generalmente tenías que escribir esto en tu propia disfunción, esta curva de la trama, y calcularla en realidad calcula
‫la U. S. métrica para nosotros.
‫Entonces, veamos el área debajo de la métrica de la curva en acción y luego tracemos la curva.
‫GRAMO. S. Law, Greg, y si buscamos esto en la documentación y
‫nos dirán qué hace parsad, una estimación de cuál es nuestro modelo de aprendizaje automático en el X por ciento de la característica operativa del receptor de la gráfica Y,
‫a. k. una. Roc Curve.
‫Eso es lo que va a hacer por nosotros.
‫Cosas hermosas como la prueba Wragg X y queríamos hacerlo en el conjunto de datos de prueba.
‫Evalúe siempre.
‫Esto debe calcularse, siempre evalúe sus modelos de aprendizaje automático en el conjunto de datos de prueba y
‫veamos.
‫Oh hermoso.
‫Bien, recuerde una curva perfecta que hemos visto en videos anteriores.
‫Llegamos a esta esquina y luego cruzamos así, pero Elstein está bastante bien y tenemos un área debajo de la
‫curva.
‫Entonces, si calculamos toda esta área debajo de cero punto nueve tres, por supuesto, un modelo perfecto
‫logrará 1. 0 como nuestro modelo.
‫No es perfecto, pero es una puntuación de cero coma nueve tres cuando el promedio es solo.
‫Lanzar una moneda esencialmente sería cero coma cinco, por lo que nos estamos acercando a un modelo perfecto, nada mal para un
‫modelo que acaba de salir de la caja.
‫Está bien.
‫Lo siguiente que queremos hacer.
‫Es una matriz de confusión, así que digamos esa matriz de confusión, ¿cómo podríamos hacer eso?
‫Así que creo que la línea tiene una función y no creo que sepa socket.
‫Tiene una función.
‫Podemos ir a la confusión, a la matriz, y queremos comparar los niveles de tropas terrestres con los niveles predichos.
‫Bien, podría dejarlo así.
‫Eso es un poco soso.
‫Podemos mejorar la visualización de esta matriz de confusión usando.
‫Seabourne, eso es lo que quieres.
‫Entonces queremos ir.
‫Creo que ya tenemos a Seabourne aquí.
‫Sí, haciendo S. UNA. S. , sí, lo hacemos.
‫Así que lo tenemos a Seabourne antes en este proyecto para que podamos ir.
‫Lo que podría hacer es saber de antemano que necesitamos un tamaño de fuente más grande.
‫El tamaño de la fuente es igual a uno punto cinco.
‫Eso simplemente no está establecido.
‫Y vamos a crear una pequeña función aquí en caso de que quisiéramos hacer otra matriz de
‫confusión porque la función de matriz de confusión del ciclón no está a la altura, ya que al hacer este video siempre podría ser
‫una oportunidad para una solicitud de extracción.
‫Entonces vamos aquí.
‫Agradable y simple, así que solo postularemos esta prueba funcional.
‫Etiquetas y nuestras etiquetas predichas, y luego vamos a crear gráficos de aspecto agradable, una
‫matriz de confusión de aspecto agradable utilizando litorales, lo hemos visto antes del mapa de alturas.
‫Maravilloso.
‫Así que tenemos una gran X es igual a T puntos de subparcelas, el tamaño grande es igual a tres tres o al final del cambio para disparar feliz de nuevo X
‫es igual a un mapa de calor siniestro.
‫Maravilloso.
‫Vamos a postular la matriz de confusión del sitio de la función de línea psíquica.
‫Por qué probar.
‫Por qué Fred's.
‫Y luego queremos agregar aquí y no anotar, sí, por favor, anotar es igual a verdadero.
‫Y vamos a ir a la barra porque no queremos Colaba, porque he visto a los talibanes,
‫no se ve muy bien en una confusión matrixx pena no ex etiqueta.
‫De confianza.
‫Y luego vamos a poner por qué responsable, vamos a ir a difamación prevista y veamos.
‫Entonces tenemos mucha confusión matemática.
‫Matrixx, ¿por qué probar?
‫¿Por qué desfiles?
‫Oh, ¿qué hemos hecho, tamaño de fuente?
‫Ese saco de Fonzi está mal.
‫¿Qué es esta escala O?
‫Oye, tenemos ficha.
‫Lo que puedo jugar es clásico y nos está dando este pequeño corte
‫aquí para que podamos arreglar esto, creo, yendo arriba porque x no entiendo por qué limn.
‫Sí.
‫Y luego queremos ir a X dot set Wiliam.
‫Hágalo un poco bonito, Whilom, y será el último punto cinco de la parte inferior menos cero punto cinco.
‫Ahora, por supuesto, si está confundido, Matrix se ve bien, es posible que no necesite estas
‫líneas, pero no importa.
‫Aquí vamos.
‫Podríamos vernos un poco mejor.
‫Entonces puedes ver que el modelo se confunde.
‫Entonces predice la etiqueta incorrecta relativamente igual en ambas clases.
‫Entonces, en esencia, hay cuatro ocasiones aquí en las que el modelo predijo cero.
‫La etiqueta de predicción predijo que alguien no tenía una enfermedad cardíaca cuando debería haber sido predicho
‫como tal.
‫Entonces eso es un falso negativo.
‫Entonces está prediciendo cero en lugar de uno, un falso negativo.
‫Recuerde, al regresar aquí, el modelo de falso negativo predice cero cuando se gana la verdad.
‫Y aquí están los falsos positivos.
‫Entonces, está bien, tenemos tres casos aquí donde un modelo predice, uno, alguien tiene una enfermedad cardíaca cuando
‫en realidad no es así.
‫Y puede ver que estas son las dos cosas que queremos evitar.
‫Derecha.
‫Especialmente cuando se piensa en algo tan grave o tan grave como una enfermedad cardíaca, incluso al predecir cuándo
‫no está presente.
‫Entonces aquí, si predecimos cero, entonces no hay enfermedad cuando está presente.
‫Está bien, eso es malo.
‫Pero también es malo predecir que está ahí cuando en realidad no lo está.
‫Así que eso es algo que debe tener en cuenta al crear este tipo de modelos.
‫¿Es peor un falso negativo o un falso positivo peor?
‫Y de nuevo, un modelo perfecto no tendría ninguno de estos.
‫Pero en realidad, probablemente terminará teniendo algún tipo de confusión aquí con su modelo.
‫No lo vas a hacer idealmente, estos serían perfectos aquí, al otro lado de la línea.
‫Ahora, hemos hecho una matriz de confusión.
‫Tenemos eso ahí.
‫Podríamos compartir eso con nuestro jefe.
‫Podríamos compartir eso con nuestro jefe rockero allí.
‫¿Que sigue?
‫Informe de clasificación?
‫Está bien, y sería fantástico si se utilizara la validación cruzada siempre que fuera posible.
‫Muy bien, eso es lo que podríamos abordar en el siguiente video.