‫Willkommen zurück.
‫Wir haben also gelernt, dass Sie als Dateningenieur Daten sammeln, Daten aufnehmen und dann in einem Data
‫Lake, häufig einem Hadoop-Cluster, speichern.
‫Nun kann diese Idee eines Datenlecks auch mit etwas wie AYSO, S3 Object Storage verwendet werden.
‫Das sind also die beiden beliebtesten.
‫Und sobald sie sich in Ihrem Data Lake befinden, können Sie normalerweise Batch-Jobs für diese Daten ausführen, um sie zu bereinigen,
‫zu ändern oder auf irgendeine Weise zu bearbeiten.
‫Hadoop hat es uns also ermöglicht, dies mit Massenproduktion zu tun, wir können Apache Spark verwenden, Sie können einfach manuell
‫Skripte auf Amazon S3 schreiben oder Sie können einfach die besten Jobs mit Com-Datenbanken erledigen, wie zum Beispiel alle Datenbanken fragen.
‫Aber diese Idee einer Stream-Verarbeitung wird jetzt immer beliebter.
‫Anstatt Daten nur mit Batch-Jobs zu verarbeiten, sagen wir jede Stunde oder jeden Tag, gibt es jetzt
‫eine Bewegung in Richtung dieser Idee der Echtzeit-Stream-Verarbeitung.
‫Das heißt, wenn Daten empfangen werden, werden sie sofort verarbeitet, anstatt ein bisschen zu warten, bis wir Batches auf einmal
‫ausführen können.
‫Dadurch können wir schneller auf Daten reagieren.
‫Nun, diese Idee der Stream-Verarbeitung ist ziemlich kompliziert, aber eines der wichtigsten Tools,
‫die derzeit für die Stream-Verarbeitung verwendet werden, ist Kafka.
‫Kafka ist, wenn wir uns ihre Website anschauen, eine verteilte Streaming-Plattform.
‫Es ermöglicht uns, Datenströme wie ein Messaging-System zu lesen und zu schreiben.
‫Sie ermöglicht uns die Verarbeitung und die Speicherung von Daten.
‫Aber wie Sie sehen können, was Kafka tut, ermöglicht es uns, Nachrichten zu empfangen und an verschiedene Orte weiterzugeben.
‫Der Grund, warum Sie oft sehen werden, ist, dass wir Apache, Kafka verwenden, um all diese Nachrichten, Protokolle und Daten
‫aus all diesen Quellen zu erhalten, wir sammeln sie an einem zentralen Ort und Kafka kann sie dann an verschiedene Orte
‫weitergeben.
‫Wir können beispielsweise alles, was Kafka empfängt, an einen Hadoop-Cluster weiterleiten, um diese Daten zu speichern.
‫Und dann vielleicht, wenn wir Apache Spark verwenden möchten, um diese Daten in einem Data Warehouse zu verarbeiten.
‫Aber jetzt, mit der Idee der Echtzeitverarbeitung, erlaubt uns Kafka, Dinge jetzt an die Wand selbst weiterzugeben, oder wir können etwas
‫wie Spark Streaming oder Flink verwenden, über das wir gesprochen haben, Apache Flink, das mehr
‫für die Stream-Verarbeitung verwendet wird oder Apache Storm oder sogar Kinesis von Amazon, die eigentlich auch wie Kafka hier platziert
‫werden können, um all diese Nachrichten von all diesen Orten zu verarbeiten.
‫Jetzt, am Ende des Tages, könnte all dies verwirrend gewesen sein.
‫Sie können von all diesen verfügbaren Tools überwältigt sein.
‫Aber denken Sie daran, was ich zu Beginn dieses Abschnitts gesagt habe: Ein Data Engineer ist jemand,
‫mit dem Sie als Data Scientist interagieren.
‫Daher ist es gut zu wissen, was sie tun, welche Rollen sie haben und welche Verantwortung sie haben.
‫Und Sie arbeiten eng mit ihnen zusammen, damit Sie die Daten zur Verfügung haben, um Analysen durchzuführen oder Modelle für maschinelles
‫Lernen zu erstellen.
‫Aber ich hoffe, dass dieses Diagramm jetzt Sinn macht.
‫Ein Dateningenieur erstellt für Sie diese Landschaft, in der er Daten über Kafka Store-Informationen mit etwas
‫wie Hadoop oder Amazon S3 aufnimmt.
‫Sie verarbeiten diese Daten mit etwas wie Apache Spark oder Kinesis.
‫Und dann speichern sie Daten sogar in Data Warehouses, sodass Mitarbeiter wie Redshift oder Becherer von Mitarbeitern im
‫Unternehmen verwendet werden können, um aus den Daten etwas Nützliches zu lernen.
‫Sie bauen die Struktur, damit Sie gedeihen können.
‫Also sei nett zu ihnen.
‫Und wenn Sie sich jemals für eine dieser Technologien interessieren, sie ändern sich sehr schnell.
‫Aber sie sind definitiv einen Blick wert und sie sind nicht so einschüchternd zu lernen, wie Sie vielleicht denken.
‫Ich werde im nächsten sehen.
‫Wiedersehen.