‫Hablemos de Hadoop, así que a medida que las empresas comenzaron a generar más y más datos, nuestras bases
‫de datos que teníamos, como MySQL, se volvieron demasiado ineficientes o incapaces de almacenar grandes cantidades de datos, y Hadoop se convirtió en la
‫piedra angular de la ingeniería de datos.
‫Verá, Hadoop es un marco de procesamiento distribuido de código abierto.
‫Nos permite procesar y almacenar datos para big data.
‫¡Y en realidad fue desarrollado por Yahoo!
‫En el pasado y luego donado a la Apache Software Foundation.
‫Hadoop estaba de moda cuando comenzó la locura del big data, Hadoop era una solución que permitía a
‫todas estas empresas con petabytes de datos almacenar esta información en Hadoop.
‫Ahora, Hadoop fue esencialmente una fuga de datos, ¿verdad?
‫Es una solución de lago de datos.
‫Nos permite almacenar todos estos datos por nosotros.
‫Pero la popularidad de Hadoop se debió a dos cosas importantes.
‫Uno era HDFC, que es el sistema de archivos distribuido de Hadoop.
‫Hadoop pudo almacenar tantos datos debido a esto, un sistema de archivos como el que tiene en su computadora
‫que le permitió almacenar archivos en varias computadoras.
‫Es decir, podemos usar Hadoop en varias computadoras para almacenar tantos datos como queramos.
‫Fue escalable.
‫Podríamos escalar.
‫Entonces, los datos se almacenan en diferentes computadoras físicas.
‫Luego se redujo el mapa porque una vez que almacenamos datos, necesitamos realizar algunos trabajos, algún procesamiento en esos datos,
‫¿verdad?
‫Y map reduce y Hadoop nos permitieron realizar trabajos contra estos datos que teníamos en un lago de datos usando lenguajes
‫como Java o Python.
‫Puede usar Map, Reduce y Hadoop para hacer lo que llamamos procesamiento por lotes.
‫Es decir, todas las noches podemos ejecutar algún tipo de trabajo para limpiar nuestros datos, procesar nuestros datos y
‫hacerlos útiles para la empresa.
‫Ahora, Map Reduce ya no se usa con tanta frecuencia como veremos más adelante en los videos, porque tenemos algo llamado Apache Spark
‫que en realidad es un poco más rápido, pero llegaremos a eso.
‫La idea aquí es que finalmente tuvimos una herramienta con Hadoop que nos permite almacenar una
‫gran cantidad de datos en múltiples máquinas usando el acceso y ejecutar trabajos por lotes, usando producción masiva en estos grandes conjuntos de datos.
‫Y muchas otras herramientas comenzaron a aparecer alrededor de las herramientas de Hadoop, como Hive.
‫Me encanta su logo, por cierto.
‫Compruebe eso de todos modos, Hive hace su clúster de Hadoop.
‫Siento que es una base de datos relacional.
‫Aunque no lo es, le permite usar Hive y escribir consultas Eskil en su primer sistema de archivos.
‫Entonces, en cierto sentido, tuvo esta fuga de datos de Hadoop y también un poco del tipo de almacén de datos con Hive
‫al permitirle todos los comandos en sus datos que, con suerte, se procesaron utilizando la producción de mapas.
‫Y es posible que no haya oído hablar de Hadoop antes porque lo utilizan ingenieros de datos.
‫Recuerde, los ingenieros de datos no suelen trabajar en sistemas orientados al cliente.
‫Es decir, no crean bases de datos que usarías con tu aplicación o con una aplicación web.
‫En cambio, construyen los sistemas detrás de escena que ingieren, recopilan, ejecutan, trabajos ETL, es decir, extraen,
‫transforman y cargan datos.
‫Entonces, Hadoop es esa capa de almacenamiento detrás de escena que almacena grandes cantidades de datos ejecutando el procesamiento por
‫lotes contra estos datos para que podamos tener información útil.
‫Y Hadoop sigue siendo muy popular y muy capaz cuando se trata de datos grandes, petabytes de datos.
‫Aprendamos algunas herramientas más en el siguiente video.