‫Terminemos esta descripción general de alto nivel de lo que hace un ingeniero de datos describiendo las tres tareas principales que
‫realiza.
‫Una es que construyen lo que llamamos un oleoducto et al.
‫O una tubería de carga de transformación de extracción.
‫A diferencia de la ingesta de datos, que simplemente significa mover datos de un lugar a otro y su canalización es
‫la idea de que un ingeniero de datos extrae datos que han sido generados por todos estos sistemas.
‫Extraen esos datos y luego, cuando extraen esos datos, los transforman.
‫Los datos en un formulario útil que está en un formulario que se puede cargar en un almacén de datos, por lo que extraen los
‫datos, los transforman y los cargan en algo así como un almacén de datos para que los datos puedan ser
‫utilizados por el resto. de la compañia.
‫Y utilizan lenguajes de programación como Python, Go Skalla y Java para realizar estos trabajos ETEL o
‫extraer, transformar la carga.
‫Así que esa es la primera pregunta, ¿cuál es la segunda?
‫El segundo es construir herramientas de análisis.
‫Para que entendamos cómo funcionan los sistemas de nuestra empresa, un ingeniero de datos debe asegurarse de que, cuando se
‫rompa cualquier parte del sistema, se nos notifique.
‫Entonces, un ingeniero de datos permite que los científicos de datos, los analistas de datos y la gente de inteligencia
‫empresarial usen herramientas para analizar los datos, pero también para asegurarse de que el sistema que han implementado esté funcionando correctamente.
‫Finalmente, su tercera tarea principal es obviamente mantener el almacén de datos y los lagos de datos que se aseguran de que todo
‫lo que hay allí sea accesible para que lo utilicen otras partes de las empresas.
‫Ahora que tenemos una descripción general de alto nivel de lo que hace un ingeniero de datos.
‫Quiero hablar sobre algunas de las herramientas de las que definitivamente has oído hablar
‫en la industria, cosas como Hadoop, Kafka, Apache, Spark, todos estos términos que son realmente difíciles de entender.
‫Voy a intentar darte una descripción general de este panorama para que la próxima vez que alguien te pregunte
‫odio, ¿deberíamos usar Hadoop?
‫Oye, ¿para qué es Hadoop?
‫¿Qué necesitamos?
‫Kafka, podrás responder a eso.
‫Y después de este curso, puede ir por su cuenta y aprender a usar estas herramientas si alguna vez se encuentran
‫en su trabajo.
‫Ahora, este panorama está cambiando rápidamente.
‫Aparecen nuevas herramientas a la izquierda, a la derecha y al centro.
‫Así que mi consejo es que lo que les voy a mostrar en los
‫próximos dos videos que no tomen como algo absolutamente necesario para todos los ingenieros de datos, sino que sepan que existen, vayan y
‫lean parte de su documentación. parte de la información en línea, pero solo aprenda o utilícela una vez que surja
‫la necesidad porque se actualizan constantemente.
‫Y el mundo de la ingeniería de datos está a un ritmo realmente rápido en este momento.
‫Pero dicho esto, no dudemos en los datos en los próximos videos.