‫De acuerdo, de acuerdo, entonces, ¿qué hace realmente un ingeniero de datos?
‫Comencemos con tres grandes palabras que debemos comprender antes de comprender realmente lo que hace un
‫ingeniero de datos.
‫Sí, sé que sigo dando vueltas alrededor del ingeniero de datos y sigo emocionándote, pero te prometo que nos estamos
‫acercando mucho, mucho.
‫Solo tenemos que discutir estas tres guerras de las que puede que haya oído hablar o no.
‫Una es la minería de datos y la minería de datos simplemente significa preprocesar y extraer algunos conocimientos de los
‫datos.
‫Entonces usamos algún tipo de datos para extraer conocimiento de eso es lo que es la minería de datos.
‫Big data.
‫Bueno, significa que tenemos muchos datos, muchas variables, tantos datos, de hecho, no
‫puede ejecutar en su computadora portátil y hay demasiados datos para que su computadora portátil o computadora los guarde.
‫Por lo general, cuando hablamos de big data, son datos tan grandes que necesita ejecutarlos en la computación en la
‫nube o en varias computadoras, como W. S. Azure y la nube de Google, porque tienen muchas computadoras y
‫mucho almacenamiento para almacenar estos datos.
‫Entonces eso es lo que tiene Big Data.
‫Los macrodatos son datos que normalmente no se pueden tener en una sola computadora.
‫Esto suele suceder porque, bueno, los conjuntos de datos se vuelven tan grandes que ahora tenemos petabytes y petabytes de datos.
‫Entonces, tener datos en una base de datos como mi escuela o PostgreSQL o cualquier tipo de base de datos se vuelve realmente difícil cuando
‫esa base de datos es una sola máquina.
‫Ahora, se inventaron nuevas tecnologías para resolver este problema de big data como Hadoop y NQ, de todos los cuales
‫hablaremos.
‫Ahora, una canalización de datos es esencialmente una canalización que un ingeniero de datos construye para utilizar esencialmente el hecho de que teníamos
‫esta gran cantidad de datos, necesitamos extraer información de estos datos mediante la minería de datos.
‫Por lo tanto, necesitamos traer o construir una canalización que nos permita fluir desde esa gran cantidad de datos
‫desconocida a una canalización que extrae datos a una forma más útil.
‫Entonces, un ingeniero de datos esencialmente hace esto, crea una canalización de datos donde toda la información
‫que diferentes dispositivos como dispositivos Iot, aplicaciones móviles, aplicaciones web, cámaras, automóviles y prácticamente cualquier cosa que
‫recopile datos y almacene información o registre datos en servidores o en la nube ,
‫un ingeniero de datos esencialmente acumula toda esta información en bases de datos bien empaquetadas y almacena motores para que
‫diferentes partes de la empresa puedan crear visualizaciones.
‫Pueden monitorear el desempeño de su producto.
‫Pueden obtener información empresarial y tomar decisiones comerciales a partir de estos datos e incluso utilizar estos datos en sus
‫aplicaciones.
‫Por ejemplo, para los perfiles de usuario antes de que se contrate a un científico de datos o un experto en aprendizaje
‫automático o incluso a un analista de datos o inteligencia empresarial para una gran empresa.
‫Lo que deben hacer antes de que se pueda hacer todo eso es contratar a un ingeniero de datos.
‫Ellos construyen la tubería que nos permite trabajar como científicos de datos.
‫Recuerde este diagrama y cómo nos hemos centrado en esta parte.
‫Bueno, un ingeniero de datos nos permite hacer esta parte de recopilación de datos.
‫Ellos traen toda esta información, la organizan de manera que podamos hacer nuestro modelado de datos.
‫Realmente nos ayudan con esta parte de la recopilación de datos que, por lo general, como ingeniero de aprendizaje automático o científico
‫de datos, no tiene por qué preocuparse demasiado.
‫¿Pero sabes que?
‫Mi demostración favorita de lo que es un ingeniero de datos está en el siguiente video.
‫Espero que estés emocionado porque las cosas van a empezar a tener cada vez más sentido.
‫Te veré en ese.
‫Adiós.