‫Bienvenidos, hasta ahora, hemos visto algunas formas diferentes de evaluar un modelo de clasificación y recordar
‫que la evaluación de un modelo de aprendizaje automático a menudo consiste en comparar predicciones con etiquetas de verdad.
‫Así que ahora pasemos a una forma más visual de evaluar nuestros modelos de clasificación, y ahí es donde está
‫la matriz de confusión.
‫Y si nunca ha oído hablar de esto antes, no se preocupe, tendremos mucha experiencia
‫práctica con matrices de confusión para cuando termine este video.
‫Entonces, la siguiente mejor manera de evaluar un modelo de clasificación es usando una matriz de confusión aquí abajo.
‫Una matriz de confusión es una forma rápida de comparar las etiquetas, un modelo predice y la etiqueta real.
‫Entonces las etiquetas de verdad.
‫Se suponía que iba a predecir.
‫En esencia, esto le da una idea de dónde se confunde el modelo.
‫Así que eso es solo escribir. Vamos a dejar de escribir código.
‫Lo hermoso de Psychic Lone es que tiene muchas de estas métricas de evaluación, formatos y
‫funciones integradas.
‫Así que vayamos de Kaylon Dot Matrix Impart Confusion Matrix.
‫Y luego nos vamos.
‫El motivo por el que los desfiles harán algunas predicciones con nuestro clasificador entrenado lo predecirá en la prueba X, y
‫luego crearemos una matriz de confusión con la Prueba Y y las Predicciones Y.
‫Pero antes de hacer eso, saltemos a la matriz de confusión de la documentación de Kaylon.
‫Solo recordemos la función que estamos ejecutando.
‫Así que esto es todo aquí.
‫Echemos un vistazo a las entradas.
‫Tenemos por qué.
‫Verdadero es el primer parámetro y luego se generaliza como segundo parámetro.
‫Si nos desplazamos hacia abajo, tenemos un ejemplo aquí.
‫Así es como queremos que se vea nuestra salida.
‫¿Entonces tienen por qué es verdad?
‫En nuestro caso, tenemos ¿por qué es verdad por qué probar?
‫Y tienen por qué Fred, que es en nuestros casos, ¿lo llamamos por qué Fred está con una s?
‫Si lo hicimos.
‫Así que solo voy a copiar este enlace aquí en la matriz de confusión.
‫Y lo vamos a poner aquí arriba.
‫Consulte aquí la Matriz de confusión de Skyline.
‫Está bien, pero basta de hablar.
‫Veámoslo en acción.
‫Oh, ahí vamos ahora.
‫En este momento, esto no significa mucho para nosotros.
‫Si ha tenido experiencia con matrices de confusión antes, es posible que sepa lo que está sucediendo aquí.
‫Pero si no lo ha hecho, y estoy seguro de que muchos de ustedes no lo han hecho, esto es solo una matriz de números diferentes.
‫Así que sigamos adelante.
‫¿Y qué tal si agregamos algunas etiquetas a esto?
‫Entonces, una forma de hacerlo es con el método PD Dot Cross Tab, en el que podemos buscar
‫Pandas Cross Tab, que esencialmente comparará dos o más factores.
‫Así que veamos esto en acción si quieres la documentación, por supuesto que puedes hacer referencia a esto,
‫pero prefiero ponerme manos a la obra.
‫Así que vayamos a PD a través de Tab Y Test Y Preds, y luego vamos a entrar aquí.
‫Vamos a darle un nombre de fila de parámetro nuevamente.
‫Todos estos se mencionan aquí.
‫Tenemos un índice, tenemos columnas, tenemos nombres de filas, nombres de columnas.
‫Probablemente pueda adivinar qué hacen estos dos parámetros.
‫Saltemos a eso y veamos qué hacen con la etiqueta real.
‫Así que esta es la etiqueta de verdad y luego tenemos nombres de llamadas iguales a la etiqueta predicha.
‫Así que tenemos las filas de los valores reales y las columnas son los valores predichos de nuestra
‫etiqueta de predicción del modelo.
‫Oh, ahí vamos.
‫Ahora, dado que proyectamos cero uno, así que enfermedad cardíaca o no enfermedad cardíaca, hemos
‫predicho etiquetas aquí cero uno y etiquetas reales aquí.
‫Entonces, el lugar más ideal en el que queremos que estén los valores es en la diagonal.
‫¿Porqué es eso?
‫Bueno, eso significaría que la etiqueta predicha de nuestro Modelo cero se alinea con la etiqueta real de los
‫valores de verdad cero y cero y lo mismo con uno.
‫Ahora estas muestras aquí en la diagonal opuesta.
‫Así que esto es de arriba a la izquierda a abajo a la derecha.
‫Muestras en las que nuestros modelos se confunden, en esencia, predicen una en la que la
‫etiqueta real es cero y viceversa.
‫Aquí está prediciendo cero, donde la etiqueta real es uno.
‫Ahora vamos a ser un poco más visuales porque, de nuevo, esto es para mí.
‫Podemos ir más visuales.
‫No estoy seguro de que puedas entender eso, pero a mí me gusta ver algunos colores bonitos.
‫Así que saltemos a la nota clave.
‫Recordarnos qué es la anatomía de la matriz de confusión.
‫No recordarnos a nosotros mismos.
‫Quizás nos presentemos.
‫Pero aquí estamos.
‫Entonces tenemos los valores correctos en la diagonal.
‫En la parte superior derecha, los valores se consideran falsos negativos en una clase binaria.
‫Problema de vacaciones.
‫Solo quiero que tomen nota aquí también, es que nuestra matriz de confusión en este momento solo trata con
‫dos clases cero o una.
‫Sin embargo, esta matriz de confusión puede ser tan grande como desee.
‫Pero como puedes imaginar, si fuéramos de cero a 100 muy rápido, podría volverse demasiado grande, casi demasiado grande
‫para que empecemos a visualizarlo.
‫Vamos a Google realmente grande.
‫Queremos una matriz de confusión realmente grande.
‫Veamos cómo se ve esto.
‫Muy bien, ahí vamos.
‫Te veo aquí.
‫¿Así es como puede verse una matriz de confusión realmente grande, y si de hecho puedes ir más grande
‫que eso?
‫Mira eso.
‫Eso es 90 clases.
‫Entonces, sí, esto me confunde.
‫Pero esto es, oh, eso es lo que quieres, idealmente.
‫Esa es la matriz de confusión de aspecto ideal en la que se resalta la diagonal desde la parte superior izquierda hasta la parte inferior derecha.
‫Ahora, ¿qué tal si nos ponemos coloridos sin matriz de confusión?
‫Aquí tengo la nota clave de lo que está pasando aquí.
‫Lo correcto es de arriba a la izquierda a abajo a la derecha.
‫Verdaderos positivos.
‫Verdaderos negativos.
‫Arriba a la derecha son falsos negativos.
‫En otras palabras, ¿qué significa esto?
‫El modelo predice cero tan negativo.
‫Cuando la verdad es una y tenemos la parte inferior izquierda son los falsos positivos, y un falso positivo es el modelo,
‫predice uno.
‫Cuando la verdad es cero.
‫Te dejaré sumergirte más en esto en tu propio tiempo.
‫Volvamos a escribir código.
‫Ahora hay un método hermoso dentro de Ketlen, que en realidad es relativamente nuevo, así que escribamos esto un
‫poco aquí.
‫Creando una matriz de confusión usando CI Ketlen Esta es la segunda vez que estoy grabando este video.
‫¿Por qué?
‫Porque si en el momento original grabo este video, había un método diferente dentro de Ketlen, pero debido a
‫que se actualizó, quiero mantener el curso lo más actualizado posible.
‫Tenemos las nuevas versiones.
‫Esto está dentro de Ketlen 1. 0.
‫Entonces, para usar los nuevos métodos.
‫Entonces estos son nuevos en el momento de la grabación, por cierto.
‫Así que mantuve la Línea 1. 0 acaba de salir.
‫Si crea una matriz de confusión con la línea de conectores, necesitará una versión 1 reducida. 0 más.
‫Así que quiero convertir esto en rebajas.
‫Aquí vamos.
‫Así que busquemos la línea de enchufes mientras se instala Kaylon.
‫Le mostraré cómo puede instalar la última versión de Socket Line.
‫Así que esta es esta página web aquí.
‫Voy a copiar eso cuando bajemos aquí, y lo pondré allí ahora.
‫Maravilloso.
‫Ahora podemos verificar qué versión de línea estamos usando yendo a importar.
‫Es posible que ya tenga la versión 1. 0, por así decirlo, si ha instalado socket line relativamente
‫recientemente, y nuevamente, porque podría estar viendo esto en el futuro recientemente como un término arbitrario.
‫Pero solo vamos a comprobar si se ejecuta la última versión.
‫Sin embargo, si quisiéramos actualizarlo, ¿cómo podríamos hacerlo?
‫Bueno, saltemos a la terminal.
‫Aquí está la carpeta desde la que estoy ejecutando mis cuadernos.
‫Entonces, si voy a otra cosa, estoy ejecutando esta sección dos, ciencia de datos y herramientas de aprendizaje automático.
‫De ahí es de donde es este portátil.
‫Tengo el entorno activado.
‫Lo que voy a hacer es desactivar ese entorno.
‫Entonces, en segundo lugar, para desactivar clear.
‫Así que ahora esta es solo la carpeta donde se encuentran todos mis cuadernos.
‫Aquí está mi entorno que creamos hace mucho tiempo.
‫Si necesita un repaso sobre la creación del entorno, puede volver a eso.
‫Pero ahora voy a realizar la activación de mi entorno.
‫El punto aquí significa Activar el entorno en la carpeta actual.
‫Entonces, la carpeta actual aquí.
‫Ahora, si borramos todo esto, solo para explicar un poco más.
‫Veo que vemos con eso.
‫Tengo una carpeta de entorno allí.
‫Entonces, esto solo significa que contacte con el punto de activación y esta carpeta aquí, esta carpeta de entorno, si ejecutamos eso,
‫lo borramos.
‫Y ahora, si queremos actualizar, no puedo aprender en este entorno en el que estamos ejecutando nuestros portátiles
‫desde el suyo, podría ser ligeramente diferente a mi camino aquí, pero vayamos aquí.
‫La instalación de PIP que utiliza significa enchufe de actualización.
‫Aprenda, así que volveremos a la terminal.
‫Ejecutaremos ese pip para instalar tu socket Ketlen.
‫Ahora, como estoy ejecutando la última versión, dice: Sí, ahí vamos.
‫Requisito ya actualizado.
‫Entonces, anteriormente, cuando hice esto, estaba ejecutando la versión 0 de la línea de socket. 24 puntos algo.
‫Pero luego instalé 1. 0 para hacer este nuevo material.
‫Entonces ya lo tengo.
‫Ahora, si no está ejecutando 1. 0, deberá seguir esos pasos si ya tiene 1. 0 y lo descubrió en
‫su cuaderno.
‫Bueno, entonces este código debería funcionar para ti.
‫Si acaba de instalar 1. 0, es posible que deba reiniciar el kernel de su computadora portátil.
‫No voy a hacer eso, pero simplemente haga clic en Reiniciar y luego haga clic en Ejecutar todo, y querrá volver a ejecutar
‫todas estas celdas.
‫Vuelva a importar el sitio, Ketlen, la última versión, y asegúrese de tener 1. 0 aquí antes de ejecutar este siguiente
‫conjunto de código.
‫Así que ahora miremos hacia arriba.
‫Matriz de confusión de Skyline Y aquí es donde vamos a encontrar los nuevos métodos introducidos o las nuevas clases
‫y métodos introducidos en 1. 0 visualización de la matriz de confusión de la estimación.
‫Maravilloso.
‫Entonces esto es de lo que estoy hablando.
‫Esto es más colorido para mí y vemos que el verde o el amarillo del azulejo.
‫Significa que cuantos más valores haya y más oscuro sea el mosaico.
‫Puede cambiar estos colores predeterminados si lo desea.
‫Por cierto, si solo revisa la documentación en el dock del mosaico, significa que menos valores hay
‫allí.
‫Repitamos esto para nuestros datos.
‫Y hay dos versiones de esto.
‫Tenemos pantalla Skyline Metrics Confusion Matrix, dos versiones.
‫Uno es del estimador y el otro es de predicciones.
‫Vamos a echar un vistazo a ambos.
‫Entonces, si desea avanzar, puede acceder a esta documentación, hacer clic en cada uno de estos métodos y
‫probarlo usted mismo.
‫Pero veámoslo en acción.
‫Pasamos de Skyline Dot Matrix Import Confusion, Matrix Display.
‫Muy bien, esa es la clase general.
‫Y luego usaremos ese punto de visualización de matriz de confusión de clases desde la estimación hacia arriba.
‫Ahora puede adivinar lo que entra aquí cuando necesite un estimador capacitado o una estimación ajustada.
‫En nuestro caso, nuestra estimación actual es un acantilado.
‫Escribimos aquí un clasificador de bosque aleatorio y luego toma X, que en nuestro caso es X y luego
‫Y, X e Y.
‫Así que veamos qué sale aquí.
‫Aquí vamos.
‫Conseguimos una bonita parcela.
‫Ahora, ¿qué es diferente entre lo que tenemos aquí?
‫Y ¿Prueba Y Preds versus X e Y?
‫Bueno, en primer lugar, tenemos muchos más valores.
‫Bueno, eso se debe a que estamos pasando todos los datos X y todos los datos Y.
‫Entonces, si miramos la cadena de documentos aquí, pestaña Chef, ¿qué necesitamos para estimar nuestra estimación de
‫X Y?
‫Entonces tenemos algunas opciones diferentes aquí, como la muestra de etiquetas en blanco normalizar.
‫Te dejaré leer la documentación para ver qué hacen.
‫Esencialmente, se trata de personalizar cómo se ve la trama cuando sale.
‫Y así, la estimación es una estimación, por ejemplo, un clasificador ajustado o una clase de tubería propia de escala ajustada en la
‫que la última estimación es un clasificador.
‫¿Cuál es nuestra estimación?
‫Es un clasificador de bosque aleatorio.
‫Así que ahora veamos la otra versión de la pantalla Confusion Matrix, el otro método que está asociado con ella
‫a partir de las predicciones.
‫Ahora, la diferencia aquí es que, a partir de las predicciones, se toma y es verdadero y se difunde como antes Al Cross tab.
‫Entonces no hay una estimación.
‫Entonces, esto significa que debe tener las predicciones listas para funcionar.
‫Mientras que en la otra versión de la estimación, puede crear una matriz de confusión sin predicciones listas para usar.
‫Entonces hace las predicciones para, ya sabes, digamos, confusión, punto de visualización de matriz de predicciones y vamos a pasar o veamos la cadena de
‫documentos aquí tenemos por qué es cierto y por qué Fred tan y verdadero es igual a lo que nuestras
‫etiquetas de prueba y ¿por qué Pred es igual?
‫Hemos llamado a nuestras predicciones.
‫¿Por qué Preds?
‫Veamos cómo se ve esta matriz de confusión.
‫Maravilloso.
‫Mucho mejor, más colorido.
‫Es posible que no vuelva a ser el mayor fanático de esos colores si desea cambiarlos.
‫Vea, la documentación es un montón de diferentes formas en que puede personalizarlos.
‫Este es un aspecto más visual que el que tenemos aquí.
‫Está mostrando que los tres muestran los mismos datos.
‫Este de aquí, este de aquí y este de aquí.
‫Pero solo tienen niveles crecientes de visualización, lo que a menudo es muy útil para comprender lo que está
‫sucediendo.
‫Eso es todo para las matrices de confusión.
‫Son formas muy, muy, muy visuales de ver cómo van sus clasificadores entrenados.
‫Si te gusta la anatomía, puedes encontrar la diapositiva aquí.
‫De lo contrario, te veré en el siguiente video.
‫Sigamos evaluando nuestros modelos.