‫Sprechen wir über Hadoop. Als Unternehmen begannen, immer mehr Daten zu generieren, wurden
‫unsere Datenbanken wie MySQL zu ineffizient oder konnten die großen Datenmengen nicht mehr aufnehmen, und Hadoop wurde zu
‫einem Eckpfeiler des Data Engineering.
‫Sie sehen, Hadoop ist ein Open-Source-Framework für verteilte Verarbeitung.
‫Es ermöglicht uns die Datenverarbeitung und -speicherung für Big Data.
‫Und es wurde tatsächlich von Yahoo!
‫Damals und später an die Apache Software Foundation gespendet.
‫Hadoop war der letzte Schrei, als der Big-Data-Wahn begann. Hadoop war eine Lösung, die es all diesen Unternehmen
‫mit Petabyte an Daten ermöglichte, diese Informationen in Hadoop zu speichern.
‫Hadoop war im Wesentlichen ein Datenleck, oder?
‫Es ist eine Data-Lake-Lösung.
‫Es ermöglicht uns, all diese Daten nur für uns zu speichern.
‫Aber die Popularität von Hadoop war auf zwei große Dinge zurückzuführen.
‫Einer davon war HDFC, also das verteilte Dateisystem von Hadoop.
‫Hadoop konnte aus diesem Grund so viele Daten speichern, ein Dateisystem wie auf Ihrem Computer, das es
‫ermöglichte, Dateien auf mehreren Computern zu speichern.
‫Das heißt, wir können Hadoop auf mehreren Computern verwenden, um so viele Daten zu speichern, wie wir möchten.
‫Es war skalierbar.
‫Wir könnten skalieren.
‫Daten werden also auf verschiedenen physischen Computern gespeichert.
‫Dann wurde die Karte reduziert, denn sobald wir Daten gespeichert haben, müssen wir einige Jobs ausführen und diese Daten verarbeiten,
‫richtig.
‫Und Map Reduce und Hadoop ermöglichten es uns, Jobs mit diesen Daten durchzuführen, die wir in einem Data Lake mit Sprachen
‫wie Java oder Python hatten.
‫Sie können Map, Reduce und Hadoop verwenden, um das zu tun, was wir Stapelverarbeitung nennen.
‫Das heißt, wir können jede Nacht eine Art Job ausführen, um unsere Daten zu bereinigen, unsere Daten zu verarbeiten und für
‫das Unternehmen nutzbar zu machen.
‫Map Reduce wird jetzt nicht mehr so oft verwendet, wie wir später in den Videos sehen werden, weil wir etwas namens Apache
‫Spark haben, das tatsächlich etwas schneller ist, aber dazu kommen wir noch.
‫Die Idee dabei ist, dass wir mit Hadoop endlich ein Tool hatten, das es uns
‫ermöglicht, viele Daten auf mehreren Computern mithilfe des Zugriffs zu speichern und Batch-Jobs auszuführen, indem wir diese großen Datenmengen in Massenproduktion verwenden.
‫Und viele andere Tools tauchten rund um Hadoop-Tools wie Hive auf.
‫Ich liebe übrigens ihr Logo.
‫Überprüfen Sie das trotzdem, Hive erstellt Ihren Hadoop-Cluster.
‫Fühlen Sie sich wie eine relationale Datenbank.
‫Auch wenn dies nicht der Fall ist, können Sie Hive verwenden und Eskil-Abfragen für Ihr erstes Dateisystem schreiben.
‫In gewisser Weise hatten Sie also dieses Datenleck von Hadoop und auch ein bisschen ein Data Warehouse-Typ-Ding mit Hive,
‫indem Sie alle Befehle für Ihre Daten erlaubten, die hoffentlich mit Map-Erzeugung verarbeitet wurden.
‫Und Sie haben vielleicht noch nie von Hadoop gehört, da es von Dateningenieuren verwendet wird.
‫Denken Sie daran, dass Dateningenieure normalerweise nicht an kundenorientierten Systemen arbeiten.
‫Das heißt, sie erstellen keine Datenbanken, die Sie mit Ihrer App oder mit einer Webapp verwenden würden.
‫Stattdessen bauen sie die Systeme hinter den Kulissen auf, die ETL-Jobs aufnehmen, sammeln, ausführen, dh Daten
‫extrahieren, transformieren und laden.
‫Hadoop ist also die hinter den Kulissen liegende Speicherschicht, die große Datenmengen speichert, die eine Stapelverarbeitung gegen diese
‫Daten ausführen, damit wir einige nützliche Informationen haben.
‫Und Hadoop ist immer noch sehr beliebt und sehr leistungsfähig, wenn es um große Datenmengen geht, Petabyte an Daten.
‫Im nächsten Video lernen wir einige weitere Tools kennen.