‫Bienvenido de nuevo.
‫Ahora echemos un vistazo a la tercera forma de evaluar modelos psíquicos aprendidos, y si
‫retrocedemos en la documentación, son verdaderas funciones métricas.
‫Específicamente, se aprendieron métricas coloniales y tenemos métricas de clasificación que vemos puntuar la precisión de
‫cómo obtuvimos la precisión.
‫Hemos visto algunos de estos en realidad antes, que es una matriz de confusión de informes de clasificación.
‫Aquí vamos.
‫Puntuación de recuperación de puntuación de precisión.
‫Y luego volvemos a tener lo mismo para las métricas de regresión.
‫Tenemos algunos aquí.
‫Error absoluto medio.
‫Error medio cuadrado.
‫Publiqué el desafío en el último video.
‫Oh, ahí está nuestra puntuación de dos.
‫Hola.
‫Había que probar algunos de estos sobre los problemas en los que hemos estado trabajando hasta ahora.
‫Espero que lo hayas probado porque esa es la mejor manera de comenzar a practicar por tu
‫cuenta es simplemente explorar la documentación, escribir código, cometer algunos errores y luego ver cómo solucionarlos sobre la marcha.
‫Ahora, escribamos un pequeño encabezado usando diferentes métricas de evaluación como funciones de préstamo de
‫socket, y vamos aquí.
‫La tercera forma de evaluar la estimación de la barra inclinada de los modelos de aprendizaje automático de aprendizaje de
‫socket, ya que usan el término estimado que me gusta modelar, es usar el módulo Line Dot Matrix, y luego enlazaremos la documentación allí y
‫la convertiremos en una rebaja.
‫Hermosa.
‫Empecemos a escribir código.
‫Empezaremos con nuestro problema de clasificación.
‫Pondremos de S Dot Matrix Import Accuracy Score.
‫Obtendremos la precisión.
‫Obtendremos la puntuación de precisión y obtendremos la puntuación de recuperación.
‫Y tal vez, tal vez sea suficiente.
‫¿O qué tal si también hacemos F1?
‫¿Por qué no?
‫Tendremos un poco de completitud allí, y luego obtendremos un modelo.
‫Entonces, desde Skyline Dot Ensemble, queremos importar el clasificador de bosque aleatorio.
‫¿Y luego qué más deberíamos conseguir?
‫Bueno, también podríamos probar y probar la división, ¿por qué?
‫¿Por qué no hacemos eso desde la selección del modelo de Caitlin Typekit?
‫Repasaremos todo el flujo de trabajo nuevamente, selección, importación, entrenamiento, prueba, división.
‫Y por eso quiero que pruebes esto.
‫Crea X e Y.
‫Luego, me gustaría que divida los datos y cree el modelo de ajuste Model Y y luego evalúe el modelo utilizando funciones de
‫evaluación.
‫Entonces, los que acabamos de importar aquí, por lo que tendrá algunas predicciones y verifique la cadena de documentos para
‫estos si desea averiguar cuáles son.
‫Estas son solo las principales métricas de clasificación que hemos cubierto.
‫Precisión, recuperación de precisión y F1.
‫Hay algunos más aquí, por supuesto, para clasificarlos si desea ver más de ellos.
‫Vaya a la documentación.
‫Solo estoy compartiendo algunos de los que verá con más frecuencia.
‫Lo mismo para la regresión.
‫Aquí hay algunos más de los que hemos cubierto.
‫Si desea leer más, la documentación está aquí para ir ahora.
‫Mientras tanto, te dejaré darle una oportunidad para completarlo.
‫¿Qué tal si nos preparamos para hacer uno para la regresión también?
‫De Skylon Dot Matrix Import A2 Score, que es el coeficiente de determinación.
‫Error absoluto principal.
‫El valor principal de la diferencia entre las predicciones de su modelo y los valores reales significa el error al cuadrado, el valor al
‫cuadrado de las predicciones de su modelo o el error de las predicciones de su modelo en comparación con
‫las etiquetas reales.
‫Y luego obtendremos escalares y obtendremos el módulo de conjunto e importaremos nuestra fiel regresión
‫de bosque aleatoria.
‫Y también obtendremos lo mismo que tenemos arriba.
‫No siempre tienes que escribir esto porque ya está importado, pero solo para que cada uno de estos fragmentos de
‫código sea válido.
‫Voy a copiar esto y aquí será exactamente el mismo tipo de diseño.
‫Esa es la belleza de esta biblioteca de líneas de Typekit es que gran parte del flujo de trabajo es similar dependiendo del problema
‫en el que esté trabajando.
‫Para que pueda pausar el video aquí, intente completar ambos.
‫Si no, continuaremos en unos tres segundos, tres a uno.
‫Espero que le hayas dado una oportunidad.
‫Bueno, hagámoslos ahora juntos.
‫Entonces necesitamos crear X e Y podría comenzar.
‫Esto es algo que me perdí aquí, en realidad.
‫Escena aleatoria e iremos X es igual a enfermedad cardíaca.
‫Hemos hecho esto varias veces, pero soltaremos el objetivo en el primer eje y luego estableceremos
‫y igual al valor objetivo de la enfermedad cardíaca.
‫Dividir los datos para ver si podemos hacerlo mediante la prueba Heart X Train X es lo primero.
‫Me tomó un tiempo aprender ese orden, pero recuerde primero los valores de X, intente y pruebe, luego los valores
‫de Y entrene la prueba, entrene la prueba dividida.
‫Vamos a dividir X e Y.
‫Recuerde, esto solo lo dividirá por una división en lugar de lo que vimos antes, que fue una
‫validación cruzada.
‫Dividirlo en divisiones finales o divisiones es un término que se usa a menudo. Podría ser tres K, podría ser dos K, podría ser
‫10 K, podría ser cinco.
‫Pasando el clasificador de bosque aleatorio.
‫Lo dejamos en.
‫Los parámetros predeterminados se ajustarán al modelo en los datos de entrenamiento, el ajuste de hendidura en las características y etiquetas del tren X Train
‫Y.
‫Ahora vamos a evaluar el modelo usando funciones de evaluación.
‫Sin embargo, lo que podría haber encontrado es otra cosa que me he perdido.
‫Entonces, tal vez hice esto intencionalmente.
‫La métrica de clasificación en el conjunto de prueba es cómo usar específicamente estas funciones ahora.
‫Precisión que hemos visto, es posible que los hayamos visto antes, pero está bien.
‫Si no lo hemos hecho, los cubriremos.
‫Hemos realizado muchos pasos similares a los que estamos a punto de ver.
‫Tenemos los valores de la prueba Y, pero si miramos la documentación de la puntuación de precisión, ¿qué obtenemos?
‫Puntaje de clasificación de precisión.
‫Necesitamos comparar los valores verdaderos de por qué, que en nuestro caso de las etiquetas de prueba con los valores de predicción
‫de Y, que son las predicciones de nuestro modelo para que podamos poner aquí el cambio de mar o predecir la prueba X.
‫Pero en lugar de reescribir, seleccione predecir todo el tiempo.
‫Entonces, si simplemente vamos allí y esto debería darnos un valor x por 100 y lo formateamos con dos lugares decimales, coloque un
‫pequeño signo de porcentaje en la parte posterior aquí y vea qué sale.
‫El siguiente no está definido.
‫¿Necesitamos eso como prueba X?
‫Aquí vamos.
‫está bien.
‫Sin embargo, ¿por qué no hacemos algunas predicciones y las reutilizamos, así que hacemos predicciones?
‫Queremos ver una risa.
‫Predice en la prueba X X y las predicciones Y serán iguales a eso.
‫Entonces, si copiamos esta línea.
‫Deberíamos obtener el mismo valor de por qué Preds, porque es lo mismo, excepto que lo estamos poniendo en una
‫variable.
‫Sí, ahí vamos.
‫Entonces eso es un poco mejor.
‫Vamos a deshacernos de esto.
‫Borra eso.
‫¿Y qué tal si nos llevamos esta copia?
‫Esto porque queremos uno para recordar con precisión si es uno, ¿cuáles son estas métricas aquí?
‫Precision recall F1 una vez más, podríamos usar algunos más si quisiéramos porque tenemos un montón de
‫métricas de clasificación aquí.
‫Estos son algunos de los más comunes, algunos de los más importantes.
‫Vamos a cambiar esto a precisión.
‫Cambiaremos este para recordar, y cambiaremos este por uno.
‫Entonces, una vez más, podemos hacer lo mismo.
‫Precisión, precisión, puntuación de recuperación de escala y puntuación F1.
‫Y luego simplemente no necesitamos formatearlos como porcentajes, ya sea eso o hacer.
‫La precisión es la que encontrarás a menudo como porcentaje, oh, ¿qué nos perdimos aquí?
‫Oh, perdemos el final de la cadena de acoplamiento o la cadena formateada.
‫¿Se dio cuenta de eso?
‫Aquí vamos.
‫Hermosa.
‫Podríamos reducirlos a un par de puntos decimales, pero está bien.
‫Así que ahí vamos.
‫Ahora hemos visto la tercera forma de utilizar una métrica de valoración como funciones de línea de conexión.
‫Ahora bien, esto es para clasificación.
‫Voy a pausar el video o dejar que ustedes pausen el video nuevamente y ver si pueden replicar
‫lo que hemos hecho para la clasificación.
‫Tendrá que agregar un paso adicional aquí haciendo algunas predicciones con los modelos porque uno está evaluando un
‫modelo.
‫Evaluar un modelo es comparar las predicciones de nuestro modelo con los datos de verdad del terreno que son muy importantes.
‫Tan importante como el entrenamiento, un modelo está evaluando ese modelo, así que inténtalo.
‫De lo contrario, continuaremos y lo escribiremos juntos en tres a uno.
‫Bienvenido de nuevo.
‫Espero que haya dado una oportunidad de evaluar un modelo de regresión usando algunas funciones de evaluación aquí, y
‫las tenemos todas del módulo Métricas, el módulo de métricas de regresión de la documentación del sitio
‫Ketlen.
‫¿Y si se pregunta por qué Daniel se está refiriendo tanto a la documentación?
‫Bueno, es porque vas a hacer eso mucho, y de hecho lo hago mucho.
‫Así que estoy tratando de impartirle algunos de los hábitos que uso día a día como ingeniero
‫de aprendizaje automático o científico de datos que crearán X e Y aquí, y consultar la documentación es uno de los hábitos más
‫importantes que desarrollará. .
‫Por supuesto, puede buscar cosas, pero eventualmente volverá a leer los documentos o buscar, leer
‫los documentos, buscar, leer los documentos, escribir código, hacerlo mal, hacerlo
‫bien una y otra vez.
‫Experimento experimento experimento.
‫Así que crea estos datos divididos.
‫Lo hemos visto antes.
‫Vamos a crear una instancia del modelo como ¿qué?
‫Porque estamos trabajando en un problema de regresión.
‫Lo configuraremos como una regresión aleatoria de bosques.
‫Lo dejamos con los parámetros predeterminados.
‫Vamos a ajustar el modelo al modelo de datos de entrenamiento, no ajustar x tren y tren.
‫Y ahora podemos hacer predicciones.
‫Ese fue el paso adicional que tuvimos que agregar aquí, que es este modelo de predicción en la prueba X que configurará esto
‫como una variable y Preds.
‫Podríamos cambiarle el nombre.
‫Entonces no es lo mismo que lo que hay aquí arriba, pero está bien.
‫Y ahora vamos a evaluar el uso de métricas de regresión en el conjunto de prueba.
‫Entonces podemos imprimir F.
‫Hagamos que la R anote primero.
‫Por eso queremos anotar.
‫Vamos a formatear eso con R para puntuar con Y prueba y período.
‫Y luego queremos, oh, no tenemos el final de la cuerda ahí.
‫No imprimen.
‫¿Qué más queríamos decir?
‫Error absoluto.
‫Entonces a puede ser un absoluto medio.
‫¿Tenemos?
‫Si, tenemos auto complete y Fred.
‫Y luego, finalmente, la impresión obtendrá qué desordenado, desordenado es un error cuadrático medio, ¿por qué probar, por qué desfilar y luego
‫terminar eso allí?
‫No sé.
‫¿Qué hicimos mal?
‫Ese es el error cuadrático principal de Kayla y Metrix.
‫Tenemos un error tipográfico.
‫¿Lo entendiste antes?
‫¿Error medio cuadrado?
‫Corremos.
‫Eso va a encajar.
‫Nuestro modelo puede tardar un poco más que el de clasificación porque nuestro conjunto de datos de vivienda
‫tiene 20000 filas.
‫Oh, ¿qué nos equivocamos?
‫¿Por qué Fred no está definido?
‫Oh, necesitamos hilos blancos.
‫Aquí vamos.
‫Podría haber detectado ese error tipográfico de nuevo.
‫Simplemente vuelva a capacitar al modelo allí.
‫Vuelva a evaluarlo.
‫Entonces, nuevamente, ¿cuál es la diferencia entre nuestra evaluación de valores cruzados y nuestras métricas de regresión o métricas de clasificación
‫aquí?
‫Estas métricas se encuentran en una prueba de tren dividida frente a estas métricas.
‫Aquí arriba se encuentran en múltiples divisiones de prueba de tren usando validación cruzada.
‫Estas métricas tardan más en encontrar porque debe entrenar varios modelos y evaluarlos.
‫Sin embargo, generalmente son una mejor indicación de cómo funcionará su modelo fuera de un cuaderno de
‫notas de Júpiter con datos no vistos que solo en una sola división.
‫Así que tenlo en cuenta.
‫Hermosa.
‫Tenemos algunas métricas de regresión en el conjunto de prueba, por lo que tenemos COVID.
‫Nos ha llevado un tiempo, pero quería dedicar mucho tiempo a esta sección porque es muy importante
‫evaluar un modelo.
‫Entonces, si desea leer más sobre esto, consulte la documentación.
‫Hemos cubierto el método de estimación y puntuación.
‫Hemos cubierto el parámetro de puntuación y hemos analizado las funciones métricas.
‫Hay mucho más aquí, pero has visto el quid de estos tres.
‫Así que ahora averigüemos qué estamos cubriendo.
‫Echaremos un vistazo a nuestra lista.
‫¿Qué hemos pasado hasta ahora?
‫¿Cero y un flujo de trabajo de extremo a extremo para preparar los datos?
‫Elija el algoritmo de barra de estimación adecuado para nuestros problemas.
‫Ajuste el modelo evaluando un modelo y, oh, número cinco, estamos listos para mejorar un modelo.
‫Esto es muy, muy emocionante.
‫Así que hemos cubierto mucho en la sección de líneas de conectores hasta ahora, pero aún nos queda un poco más por
‫hacer.
‫Te veo en la siguiente sección.
‫Averigüemos si tenemos estas métricas, ¿cómo podemos mejorarlas, mejorarlas?
‫Lo hemos insinuado en videos anteriores, pero ahora vamos a sumergirnos realmente en él.
‫Te veo en la siguiente sección.