‫El modelado de la cuarta parte es la parte final del modelado, y su comparación queriendo saber aquí es cómo
‫funcionará nuestro modelo en el mundo real.
‫Entonces, una vez que haya mejorado el rendimiento de su modelo a través del ajuste de hiperparámetros, es hora
‫de ver cómo funciona en las pruebas.
‫En el conjunto de pruebas es como el examen final para los modelos de aprendizaje automático.
‫Si ha creado su división de datos correctamente, debería darle una indicación de cómo funcionará su
‫modelo.
‫Una vez implementado en producción, significa estar orientado al cliente en lugar de estar solo en su computadora local.
‫Dado que su modelo nunca ha visto datos en el conjunto de prueba, evaluar su modelo en él es una buena manera
‫de ver cómo se generaliza.
‫Y recuerde, al generalizar, me refiero a adaptarse a datos que no se han visto antes, como el rendimiento del modelo de
‫aprendizaje automático de predicción de enfermedades cardíacas para clasificar si un paciente tiene una enfermedad cardíaca o no
‫en un paciente que no estaba en nuestros datos originales. colocar.
‫Un buen modelo producirá resultados similares en los conjuntos de entrenamiento, validación y prueba, y no es raro ver
‫una ligera disminución en el rendimiento del modelo.
‫En el conjunto de entrenamiento y validación para el conjunto de prueba, por ejemplo, su modelo podría lograr un 98% de precisión
‫en el conjunto de datos de entrenamiento y un 96% de precisión en el conjunto de prueba.
‫Lo que debería preocuparle es si el rendimiento del conjunto de entrenamiento es dramáticamente más alto que el
‫conjunto de prueba, también conocido como alimentación insuficiente, y si el rendimiento del conjunto de prueba es superior al rendimiento
‫del conjunto de entrenamiento, también conocido como SOBREFITTING.
‫El sobreajuste y la subalimentación son ejemplos de un modelo que no puede generalizar bien, que es lo
‫que no queremos.
‫El modelo ideal aparece en la zona de Ricitos de Oro.
‫Se ajusta perfectamente, no demasiado bien, pero no demasiado mal.
‫Aquí ves este modelo de aprendizaje automático.
‫Si estos eran sus datos, estos puntos de datos verdes, esta línea aquí, se ajusta a la forma.
‫Pero es que esto se clasificaría como subalimentación.
‫Esto no es lo que queremos modelar hoy.
‫Y este de aquí.
‫Bueno, está haciendo un buen trabajo al llenar todos los puntos de datos, pero se acerca demasiado.
‫Es un modelo casi demasiado perfecto.
‫Es solo serpentear entre ellos.
‫Entonces, este ejemplo significaría que el modelo ha aprendido los patrones demasiado bien en este conjunto de datos.
‫Sería como ver el examen final antes de realizar el examen final.
‫Este de aquí es la zona de Ricitos de Oro.
‫Derecha.
‫Este es un proceso iterativo en el que exactamente esta zona Ricitos de oro es como un modelo equilibrado que realmente dependerá de
‫sus datos y del problema que está tratando de resolver.
‫Por eso, nuevamente, es un proceso iterativo, encontrar esta zona equilibrada.
‫Y ahora, después de un poco de experiencia y práctica trabajando en diferentes problemas de aprendizaje automático,
‫podrá comenzar a saber si su modelo está sobreajustado o insuficientemente.
‫Ahora bien, hay varias razones por las que puede suceder una apertura insuficiente, pero las principales son la fuga de datos y
‫la falta de coincidencia de datos.
‫La fuga de datos ocurre cuando algunos de sus datos de prueba se filtran en sus datos de entrenamiento, y esto a menudo da como resultado un sobreajuste
‫o un modelo que funciona mejor en el conjunto de prueba que en los datos de entrenamiento, dijo.
‫Es como, recuerda, era como si tuvieras que echar un vistazo al examen final o si todos tuvieran que
‫ver el examen final como un examen de práctica, su modelo de aprendizaje automático acababa de aprender en qué se
‫va a probar.
‫Entonces, cuando llega el momento de modelar, simplemente se aprende demasiado bien y comienza a ajustarse a los datos de esta
‫manera.
‫Y esta es la razón por la que es importante hacer sus divisiones correctamente y asegurarse de que el entrenamiento del modelo
‫de aprendizaje automático ocurra solo en la validación del conjunto de datos de entrenamiento y el ajuste del modelo ocurra solo en el conjunto de
‫datos de validación o entrenamiento, y que las pruebas y la comparación del modelo ocurran en los datos de prueba colocar.
‫Y recuerdo algunos enfoques diferentes que se usan solo en el conjunto de entrenamiento y prueba y hago un entrenamiento
‫de modelo en el conjunto de entrenamiento, pero las pruebas siempre son las mismas.
‫Es como cuando vas a la universidad, estás haciendo un curso.
‫Debes asegurarte de que el examen final sea una especie de indicación de qué tan bien entiendes las cosas.
‫Decir Con el conjunto de datos de prueba para el aprendizaje automático, el conjunto de datos de prueba se utiliza como una indicación de qué
‫tan bien se generalizará su modelo en el mundo real.
‫Por lo tanto, desea evitar la fuga de datos.
‫La discrepancia de datos ocurre cuando los datos en los que está probando son diferentes a los datos en los que
‫está entrenando, como tener diferentes características en los datos de entrenamiento para los datos de prueba.
‫Tener este tipo de desajuste puede llevar a que los modelos tengan un rendimiento deficiente en los datos de prueba en comparación con los datos de
‫entrenamiento.
‫Por eso es importante asegurarse de que la capacitación se realice con el mismo tipo de datos que
‫probará y lo más cerca posible de lo que usará en sus aplicaciones futuras.
‫Otras formas de combatir la subalimentación incluyen el uso de un modelo más avanzado, esto podría significar un modelo
‫totalmente diferente o aumentar la cantidad de hiperparámetros en su modelo actual.
‫Recuerde, cuando estamos cocinando nuestro plato de pollo, podríamos alterar uno de los hiperparámetros de nuestro horno
‫al encenderlo.
‫Eso podría ser algo que podría hacer en un modelo de aprendizaje automático en lugar de usar solo dos capas en
‫una red neuronal para la que podría usar.
‫Veremos más de esto en un proyecto futuro.
‫También podría reducir la cantidad de características que está intentando modelar, tal vez sus datos tengan demasiadas características y
‫el modelo que está utilizando tenga dificultades para encontrar patrones en ellos.
‫Por último, puede entrenar su modelo durante más tiempo, a veces los modelos tardan más en entrenarse o más en aprender de
‫lo que cabría esperar.
‫Uno de sus experimentos puede implicar una fase de entrenamiento más larga.
‫Y para reducir el sobreajuste, las soluciones útiles son recopilar más datos, más datos proporcionarán más patrones potenciales para
‫que un modelo los encuentre y, por lo tanto, reducirá la posibilidad de que los encuentre todos.
‫O puede intentar usar un modelo menos avanzado.
‫Esto es poco común, pero es una posibilidad.
‫El modelo que está utilizando es demasiado bueno para aprender y modela sus datos para, bueno, tenga cuidado con los modelos
‫que funcionan demasiado bien, ya que pueden dar lugar a predicciones incorrectas.
‫Recuerde, ningún modelo es perfecto, así que asegúrese de comprobar sus buenos resultados tanto como sus malos
‫resultados.
‫Finalmente, al comparar dos modelos diferentes entre sí, es importante asegurarse de comparar
‫manzanas con manzanas y naranjas con naranjas.
‫Por ejemplo, modelo dos entrenado en datos, conjunto uno versus modelo tres, entrenado en conjunto de datos uno.
‫Comparación duradera.
‫Desea asegurarse de tener en cuenta no solo el resultado final, sino también lo que se necesitó para llegar allí.
‫Si el modelo dos tarda un segundo en hacer una predicción con una precisión del noventa y tres coma uno por ciento, el modelo tres
‫tarda cuatro segundos en hacer una predicción con una precisión del noventa y cuatro coma siete.
‫¿Es eso un tres por ciento adicional de precisión que vale esos tres segundos adicionales de predicción?
‫Ahora.
‫Y esto dependerá de cuál sea el objetivo.
‫Pero si está optimizando el tiempo de predicción, ¿verdad? Quiere hacer predicciones lo más rápido posible.
‫Elijo el modelo dos porque hace predicciones cuatro veces más rápido que el modelo tres.
‫Que a un nivel de precisión más alto, nuevamente, esto será diferente según el tipo de aplicación o caso de uso
‫de producción que desee utilizar.
‫Pero solo algunas cosas a tener en cuenta son más que solo el rendimiento de un modelo, lo que implica elegir
‫cuál debe usar.
‫Un par de cosas que desea recordar de esta lección, evite el sobreajuste y la falta de alimentación, desea
‫modelar que se dirija hacia la generalidad.
‫Es como cuando haces tu examen de práctica, si vieras el examen final, podrías convertirte en una máquina de memorización experta en
‫lugar de en alguien que podría usar el conocimiento en el mundo real.
‫Mantenga el equipo de prueba separado a toda costa.
‫Cuando divide sus datos, desea tener un conjunto de entrenamiento y luego desechar el conjunto de datos de prueba y
‫bloquearlo.
‫Y una vez que su modelo haya sido entrenado, puede abrir el conjunto de datos de prueba, puede desbloquearlo, sacarlo
‫de la caja fuerte y ver cómo funciona su modelo.
‫Cuando esté comparando modelos, compare manzanas con manzanas, tenga el modelo uno y el modelo dos en los datos, establezca uno y
‫el conjunto de datos uno.
‫Desea asegurarse de que los dos modelos que está comparando se hayan creado en el mismo tipo
‫de entorno para poder asegurarse de que lo que está comparando son comparaciones legítimas.
‫Finalmente, una métrica de rendimiento basada no equivale al mejor modelo.
‫Recuerde ahora el ejemplo, es posible que esté optimizando el tiempo de predicción.
‫Entonces, aunque un modelo que hace una predicción más rápida no obtiene una precisión tan alta como otro modelo, eso lleva
‫un poco más de tiempo.
‫Puede que no le importe porque necesita algo que pueda predecir lo más rápido posible.
‫Quién sabe mucho, pero veremos mucho más de esto en acción a lo largo del curso.
‫También lo usará a lo largo de toda su carrera de aprendizaje automático.
‫Por eso es importante recordar estos conceptos.
‫Pasemos al siguiente paso y veamos cómo podemos unir todos estos pasos anteriores en la experimentación del
‫paso seis.