‫Lassen Sie uns über Apache Spark und Apache Flank sprechen. Vor Apache Spark haben die Leute normalerweise Hadoop-Map-Erzeugung
‫verwendet, um alles zu verarbeiten.
‫Spark kam und verbesserte tatsächlich die Kartenproduktion und Hadoop, indem es
‫etwas namens Speicherverarbeitung tat, was es Spark im Wesentlichen ermöglichte, Verarbeitungsjobs viel, viel schneller als Massenproduktionen auszuführen.
‫Pache Spark wurde also sehr, sehr beliebt und ist wahrscheinlich das Framework für die Stapelverarbeitung.
‫Wenn Sie also viele Daten verarbeiten möchten, können Sie Hadoop verwenden, um diese Daten und HDFC zu
‫speichern, und Apache Spark verwenden, um ETEL-Jobs wie Extrahieren, Transformieren, Laden zum Bereinigen und Transformieren dieser Daten auszuführen.
‫Bisher hatten wir Stapelverarbeitung, was im Wesentlichen bedeutet, dass Sie mir einen Datenblock geben und ich diese
‫Daten im Laufe der Zeit verarbeiten werde. Normalerweise würden Sie einen Stapelverarbeitungsjob am Ende der Nacht ausführen und in Am
‫Morgen, nach ein paar Stunden, ist die Arbeit erledigt.
‫Aber vor einigen Jahren kam die Idee der Echtzeitverarbeitung auf den Markt.
‫Es kamen Dinge wie Spark Streaming heraus, die fast Echtzeitverarbeitung ermöglichten.
‫Das heißt, anstelle der Stapelverarbeitung, bei der Sie bis zum Ende der Nacht gewartet haben, um einige Jobs für
‫die Datenmenge auszuführen.
‫Stattdessen verarbeiten Sie jedes Mal, wenn Daten eintreffen, diese Daten in diesem Bereich.
‫Apache Flink hat sich wirklich darum gekümmert.
‫Es bietet jetzt Echtzeit-Stream-Verarbeitung, obwohl Spark immer noch beliebt ist, werden Tools wie Apache
‫Flink immer beliebter.
‫Jetzt wird diese Idee des Streamings von Daten und der Stream-Verarbeitung immer beliebter.
‫Es ist noch neu, aber in dieser Landschaft passieren einige aufregende Dinge.
‫Sprechen wir also im nächsten Video darüber.