‫Bienvenido de nuevo.
‫Así que analizamos todo este flujo de cómo una empresa utiliza los datos.
‫Pero hay algunas cosas más de las que quiero hablar, porque en este momento solo hablamos sobre el
‫agua y ¿cómo se aplica esto realmente?
‫¿Qué tipo de herramientas utilizan realmente los ingenieros de datos?
‫Bueno, es posible que hayas oído hablar de algo como.
‫Kafka, y llegaremos a Kafka más adelante, pero algo como recopilar estos flujos de datos y ponerlos en un lago
‫de datos.
‫Podría ser algo que Kafka o Apache Kafka podrían hacer por Data Lakes, por ejemplo, estos son
‫simplemente programas que las empresas pueden usar.
‫Por ejemplo, es posible que haya oído hablar de Hadoop o Amazon S3 o Azure Datalink.
‫Estos son programas que han sido creados por ingenieros para almacenar grandes cantidades de datos como un día.
‫Y luego, para un almacén de datos, tenemos herramientas como Google Bakery, Amazon Redshift, incluso Amazon,
‫Athena, estos son almacenes de datos que permiten a los ingenieros realizar consultas o analizar estos datos estructurados.
‫Ahora, sé lo que estás pensando, ¿quién hace qué en todo este sistema?
‫Hemos aprendido que el ingeniero de datos crea todo este sistema para nosotros.
‫Utilizan diferentes herramientas y programas para ingerir datos y luego ponerlos en un lago de datos o un almacén de datos.
‫Entonces, como científico de datos y experto en aprendizaje automático, ¿qué datos utiliza?
‫Pausa el video y piénsalo.
‫¿Listo para la respuesta?
‫Bueno, la mayor parte del tiempo trabajaría con un lago de datos.
‫Porque recuerde, si está haciendo aprendizaje automático, cuantos más datos tenga, mejor.
‫Derecha.
‫Y con el aprendizaje automático, puede utilizar datos estructurados o no estructurados.
‫Por lo tanto, puede ingresar a un lago de datos y obtener una gran cantidad de datos para usar en sus modelos, ya sea en
‫formularios CSV o en cualquier otro formulario.
‫Y, por lo general, los almacenes de datos son utilizados por seres o personas de inteligencia empresarial o analistas de
‫negocios o analistas de datos para realizar visualización o analizar datos, porque el almacén de datos generalmente tiene datos más estructurados
‫que se han limpiado que cuando era un lago de datos.
‫Es mucho más fácil comprender y utilizar los datos para obtener información.
‫Ahora, como científico de datos, puede utilizar datos de un almacén de datos.
‫Y esto no es solo una regla.
‫Por lo general, utiliza los datos que puede utilizar.
‫Pero esta es una buena manera de pensar en las cosas en las que un científico de datos usa tantos
‫datos como puede, tantos datos útiles como puede, mientras que alguien como una persona de inteligencia empresarial o un
‫analista de datos ya ha limpiado los datos, procesados por un ingeniero de datos y usó algo así como un almacén de datos
‫para analizar datos.
‫Y la gran consulta de Google es exactamente eso y permite que alguien sin demasiada
‫experiencia en ingeniería o programación analice estos datos en un almacén de datos.
‫Otra forma de pensarlo es así.
‫Por lo general, un ingeniero de software, un desarrollador de software, un desarrollador de aplicaciones, un desarrollador móvil, crean
‫programas y aplicaciones que los usuarios y clientes usan y que liberan datos.
‫Luego, un ingeniero de datos construiría esta canalización y canalización para que podamos ingerir datos y almacenarlos en diferentes servicios como Hadoop,
‫como Google Bakery, para que el resto de la empresa pueda acceder a los datos.
‫A continuación, tenemos científicos de datos que utilizan el lago de datos, así como los científicos de datos para extraer información y ofrecer
‫algún tipo de valor comercial.
‫Finalmente, tenemos analistas de datos o inteligencia empresarial para usar algo como un almacén de datos o datos estructurados para
‫obtener nuevamente valor comercial, y espero que se aclare un poco la imagen cuando escuche todos
‫estos títulos en la industria.
‫Ahora, la industria está evolucionando rápidamente y definitivamente hay cierta superposición y, a veces, lo que una descripción de trabajo podría decir puede
‫ser diferente a la otra.
‫Pero estas son reglas generales simplificadas que puede utilizar para comprender cómo cada función desempeña en una
‫empresa.