‫Parlons d'Hadoop. Alors que les entreprises ont commencé à générer de plus en plus de données, nos bases
‫de données que nous avions, comme MySQL, sont devenues trop inefficaces ou incapables de contenir de grandes quantités de données, et Hadoop est devenue
‫la pierre angulaire de l'ingénierie des données.
‫Vous voyez, Hadoop est un framework de traitement distribué open source.
‫Cela nous permet de traiter et de stocker des données pour le Big Data.
‫Et il a en fait été développé par Yahoo!
‫À l'époque, puis plus tard, il a fait un don à l'Apache Software Foundation.
‫Hadoop faisait fureur lorsque l'engouement pour le big data a commencé, Hadoop était une solution qui permettait à toutes ces
‫entreprises avec des pétaoctets de données de stocker ces informations dans Hadoop.
‫Maintenant, Hadoop était essentiellement une fuite de données, n'est-ce pas ?
‫C'est une solution de lac de données.
‫Cela nous permet de stocker toutes ces données pour nous.
‫Mais la popularité de Hadoop était due à deux grandes choses.
‫L'un était HDFC, c'est-à-dire le système de fichiers distribué Hadoop.
‫Hadoop a pu stocker tellement de données à cause de cela, un système de fichiers comme celui que vous avez sur votre ordinateur qui
‫lui a permis de stocker des fichiers sur plusieurs ordinateurs.
‫Autrement dit, nous pouvons utiliser Hadoop sur plusieurs ordinateurs pour stocker autant de données que nous le souhaitons.
‫C'était évolutif.
‫On pourrait s'agrandir.
‫Les données sont donc stockées sur différents ordinateurs physiques.
‫Ensuite, la carte a été réduite car une fois que nous stockons les données, nous devons effectuer certaines tâches, certains traitements sur ces
‫données, d'accord.
‫Et map reduce et Hadoop nous ont permis d'effectuer des travaux sur ces données que nous avions dans un lac de données en utilisant des
‫langages comme Java ou Python.
‫Vous pouvez utiliser Map, Reduce et Hadoop pour effectuer ce que nous appelons le traitement par lots.
‫C'est-à-dire que chaque nuit, nous pouvons exécuter une sorte de travail pour nettoyer nos données, les traiter et les
‫rendre utiles à l'entreprise.
‫Maintenant, Map Reduce n'est plus utilisé aussi souvent que nous le verrons plus tard dans les vidéos, car nous avons quelque chose appelé Apache
‫Spark qui est en fait un peu plus rapide, mais nous y reviendrons.
‫L'idée ici est que nous avions enfin un outil avec Hadoop qui nous permet de stocker beaucoup
‫de données sur plusieurs machines à l'aide des tâches d'accès et d'exécution par lots, en utilisant la production en série sur ces grands ensembles de données.
‫Et de nombreux autres outils ont commencé à apparaître autour des outils Hadoop tels que Hive.
‫J'adore leur logo, au fait.
‫Vérifiez quand même, Hive crée votre cluster Hadoop.
‫Sentez-vous comme si c'était une base de données relationnelle.
‫Même si ce n'est pas le cas, il vous permet d'utiliser Hive et d'écrire des requêtes Eskil sur votre premier système de fichiers.
‫Donc, dans un sens, vous avez en quelque sorte eu cette fuite de données de Hadoop et aussi un peu un truc de type entrepôt de données avec
‫Hive en vous permettant toutes les commandes sur vos données qui, espérons-le, ont été traitées à l'aide de la production de cartes.
‫Et vous n'avez peut-être jamais entendu parler d'Hadoop, car il est utilisé par les ingénieurs de données.
‫N'oubliez pas que les ingénieurs de données ne travaillent généralement pas sur des systèmes orientés client.
‫C'est-à-dire qu'ils ne créent pas de bases de données que vous utiliseriez avec votre application ou avec une application Web.
‫Au lieu de cela, ils construisent les systèmes dans les coulisses qui ingèrent, collectent, exécutent les tâches ETL, c'est-à-dire
‫extraient, transforment, chargent les données.
‫Hadoop est donc cette couche de stockage en coulisse qui stocke de grandes quantités de données en exécutant un traitement par lots par
‫rapport à ces données afin que nous puissions avoir des informations utiles.
‫Et Hadoop est toujours très populaire et très performant lorsqu'il s'agit de données volumineuses, des pétaoctets de données.
‫Apprenons quelques outils supplémentaires dans la vidéo suivante.