‫Bienvenido de nuevo.
‫Entonces aprendimos que, como ingeniero de datos, usted recopila datos, ingiere datos y luego los almacena en un lago de datos,
‫a menudo un clúster de Hadoop.
‫Ahora, esta idea de una fuga de datos también se puede utilizar con algo como AYSO, S3 Object Storage.
‫Entonces esos son los dos más populares.
‫Y luego, una vez que están en su lago de datos, generalmente puede ejecutar trabajos por lotes en estos datos
‫para limpiarlos, modificarlos o disputarlos de alguna manera.
‫Entonces, Hadoop nos permitió hacer eso con producción masiva, podemos usar Apache Spark, simplemente puede escribir scripts manualmente en Amazon
‫S3 o incluso puede hacer los mejores trabajos con bases de datos com, como preguntarle a todas las bases de datos.
‫Pero esta idea de un procesamiento de flujo se está volviendo cada vez más popular.
‫En lugar de procesar datos utilizando solo trabajos por lotes, digamos cada hora o todos los días, ahora hay un movimiento
‫hacia esta idea de procesamiento de secuencias en tiempo real.
‫Eso significa que cuando se reciben los datos, procesarlos de inmediato en lugar de esperar un poco hasta que podamos hacer lotes
‫a la vez.
‫Esto nos permite tener reacciones más rápidas a los datos.
‫Ahora bien, esta idea del procesamiento de secuencias es bastante complicada, pero una de las herramientas principales que se
‫está utilizando en este momento para el procesamiento de secuencias es algo llamado Kafka.
‫Kafka, si miramos en su sitio web, es una plataforma de transmisión distribuida.
‫Nos permite leer y escribir flujos de datos como un sistema de mensajería.
‫Nos permite procesar y también nos permite almacenar datos.
‫Pero como puedes ver lo que hace Kafka, nos permite recibir mensajes y pasarlos a diferentes lugares.
‫Entonces, la razón por la que verá a menudo es que usamos Apache, Kafka para recibir todos estos mensajes,
‫registros y datos de todas estas fuentes, los recopilamos en una ubicación central y luego Kafka puede pasarlos a diferentes
‫ubicaciones.
‫Por ejemplo, podemos pasar lo que reciba Kafka a un clúster de Hadoop para almacenar esos datos.
‫Y luego, quizás, si queremos usar Apache Spark para procesar esos datos en un almacén de datos.
‫Pero ahora, con la idea del procesamiento en tiempo real, Kafka nos permite ahora pasar cosas al muro mismo, o podemos usar
‫algo como Spark Streaming o Flink, de lo que hablamos, Apache Flink, que se usa
‫más para el procesamiento de transmisiones o Apache Storm o incluso Kinesis de Amazon, que en realidad también se puede
‫colocar como Kafka aquí para manejar todos estos mensajes desde todas estas ubicaciones.
‫Ahora, al final del día, todo esto podría haber sido confuso.
‫Es posible que se sienta abrumado por todas estas herramientas disponibles.
‫Pero recuerde lo que dije al principio de esta sección, un ingeniero de datos es alguien
‫con quien interactuará como científico de datos.
‫Por eso es bueno saber qué hacen, cuáles son sus funciones, cuáles son sus responsabilidades.
‫Y trabajará en estrecha colaboración con ellos para tener los datos disponibles para realizar análisis o crear modelos de
‫aprendizaje automático.
‫Pero espero que este diagrama ahora tenga sentido.
‫Un ingeniero de datos crea este panorama para usted en el que ingieren datos a través de la información de la tienda
‫Kafka utilizando algo como Hadoop o Amazon S3.
‫Procesan esos datos usando algo como Apache Spark o Kinesis.
‫E incluso almacenan datos en almacenes de datos, por lo que las personas dentro de la empresa pueden utilizar
‫herramientas como Redshift o Becherer para aprender algo útil de los datos.
‫Ellos construyen la estructura para que usted prospere.
‫Así que sé amable con ellos.
‫Y si alguna vez está interesado en alguna de estas tecnologías, están cambiando muy rápido.
‫Pero definitivamente vale la pena verlos y no son tan intimidantes para aprender como podría pensar.
‫Lo veré en el próximo.
‫Adiós.