‫Hablemos de Apache Spark y Apache flank, como ves antes de Apache Spark, generalmente la gente usaba el
‫mapa de Hadoop para procesar todo.
‫Spark apareció y de hecho mejoró la producción de mapas y Hadoop al hacer algo
‫llamado procesamiento de memoria, que esencialmente permitió a Spark ejecutar trabajos de procesamiento mucho, mucho más rápido que la producción en masa.
‫Así que Pache Spark se volvió muy, muy popular, y probablemente sea el marco de referencia para el procesamiento por lotes.
‫Entonces, si desea procesar una gran cantidad de datos, bueno, puede usar Hadoop para almacenar esos datos y
‫HDFC y usar Apache Spark para ejecutar trabajos ETEL como extraer, transformar, cargar para limpiar y transformar esos datos.
‫Ahora, hasta ahora, teníamos procesamiento por lotes, lo que esencialmente significa darme una gran cantidad de datos y procesaré estos datos
‫durante un poco de tiempo, por lo general, ejecutarías un trabajo de procesamiento por lotes al final de la noche y en por la
‫mañana, después de un par de horas, el trabajo está hecho.
‫Pero desde hace unos años, comenzó a surgir la idea del procesamiento en tiempo real.
‫Surgieron cosas como la transmisión por chispa, que casi hizo posible el procesamiento en tiempo real.
‫Es decir, en lugar del procesamiento por lotes, donde esperó hasta el final de la noche para ejecutar algunos trabajos con
‫la cantidad de datos.
‫En cambio, cada vez que ingresan datos, los procesa en este espacio.
‫Apache Flink realmente se hizo cargo.
‫Ofrece procesamiento de transmisión en tiempo real ahora, aunque Spark sigue siendo popular, herramientas como Apache Flink están
‫comenzando a ser populares.
‫Ahora, esta idea de transmisión de datos y procesamiento de transmisión se está volviendo cada vez más popular.
‫Todavía es nuevo, pero están sucediendo algunas cosas interesantes en este panorama.
‫Así que hablemos de eso en el siguiente video.