‫OK, im vorherigen Video haben wir verstanden, dass ein Dateningenieur im Wesentlichen diese Datenpipeline für uns
‫erstellt, damit Leute wie Datenwissenschaftler verfügbare Daten haben, mit denen sie arbeiten können.
‫Aber ich möchte ein anderes Beispiel verwenden.
‫Nehmen wir an, Keiko Corp hätte einen Bedarf und dieser Bedarf ist Wasser, die Mitarbeiter brauchen Wasser.
‫Um hart zu arbeiten, oder?
‫Betrachten wir dies als ein Problem, das ein Dateningenieur löst.
‫Jetzt ertrage es mit mir.
‫Wir werden ein paar Minuten über Wasser sprechen, aber ich verspreche, dass es sich auf Daten bezieht.
‫Sehen Sie, das allererste, was wir an Wasser bekommen, ist eine Regenrate.
‫Wir brauchen Regen.
‫Und dies ähnelt den Datenquellen, die wir hatten.
‫Das sind die Websites, die Mobiltelefone, die Kameras, die Autos, die Drohnen.
‫All dies sammelt Daten.
‫Das sind die Regentropfen.
‫Damit wir unsere Mitarbeiter mit Wasser versorgen können, müssen wir Wasser von irgendwoher holen.
‫Und dieses Wasser kommt vom Regen.
‫Als nächstes wird dieses Wasser in zwei verschiedenen Bächen und Flüssen aus der ganzen Welt gesammelt, genau wie
‫Daten von allen verschiedenen Orten, diese Wasserströme beginnen sich zu bilden.
‫Und was passiert als nächstes?
‫Nun, diese Wasserströme verwandeln sich in Seen.
‫Sie alle fließen in eine Art See.
‫Und dieser See sitzt still.
‫Aber auch hier, wir Kako Korp, wollen nur Wasser von den Mitarbeitern.
‫Nun, wir haben offensichtlich einen Damm an einem See und diesen Damm an einem See oder ein System, um diesen See zu nutzen.
‫Nun, wir transportieren dieses Wasser zu einer Art Filter-Sanitärbereich, damit wir das Wasser reinigen und desinfizieren können,
‫damit die Leute es sicher trinken können.
‫Also verarbeiten wir das gesammelte Wasser.
‫Und schließlich, nach all dem, erstellen wir alle Klempnerarbeiten und Rohre, damit wir Wasser an Kako Corp.
‫liefern können.
‫So erfüllen wir die Bedürfnisse der Chaco Corp. Wasser für ihre Mitarbeiter bereitzustellen, und so
‫funktionieren Daten und so hat ein Dateningenieur gebaut. Ein Dateningenieur beginnt mit der sogenannten
‫Datenaufnahme, bei der Daten aus verschiedenen Quellen erfasst werden.
‫Und wir erfassen all diese unterschiedlichen Datenquellen und nehmen sie auf.
‫In dem, was wir einen Data Lake nennen, ist ein Data Lake eine Sammlung all dieser Daten an einem Ort.
‫Von dort könnten wir den See einfach so lassen, wie er ist.
‫Aber es gibt ein Problem.
‫Wir wollen nicht, dass der See austrocknet.
‫Wir müssen diesen See irgendwie verwalten.
‫Wir wollen das Dorf nicht überfluten.
‫Wir brauchen Dämme.
‫Wir brauchen Rohre zu den Häusern.
‫Wir müssen das Wasser filtern und reinigen und wir brauchen Leitungen zu den Häusern.
‫Nachdem wir diese Daten aus verschiedenen Quellen aufgenommen haben, sammeln wir sie in einem Data Lake.
‫Wir führen dann eine sogenannte Datentransformation durch, bei der Daten von einem Format in ein anderes konvertiert werden, normalerweise
‫in etwas, das wir Data Warehouse nennen.
‫Ein Data Warehouse ist ein Ort, an dem zugängliche Daten gespeichert werden, die für das Unternehmen nützlich sind.
‫Das heißt, obwohl der See so viel Wasser sammelt, so viele Daten, die irgendwie überall verteilt waren.
‫Ein Data Engineer schaut sich diese Daten an und formt oder verwendet die Teile der Daten, die nützlich sind, und legt sie
‫in einem Data Warehouse ab, damit andere Teile des Unternehmens sie wieder verwenden können.
‫Eine gute Möglichkeit, darüber nachzudenken, ist, dass ein Data Lake ein Pool von Rohdaten ist.
‫Der Zweck, mit dem wir noch nicht wissen, was wir in einem Data Warehouse tun sollen, ist ein Ort für
‫strukturierte, gefilterte Daten, die verarbeitet wurden und einen bestimmten Zweck haben.
‫Das heißt, wir haben hier Daten, die für das Geschäft nützlich sind.
‫Das bedeutet, dass Data Lakes normalerweise weniger organisiert sind und weniger Daten filtern als so etwas wie ein
‫Data Warehouse.
‫Nun, warum sollten Unternehmen das tun wollen?
‫Nun, zum einen ist es viel einfacher, Daten zu analysieren, wenn sie organisiert sind.
‫Nun, vielleicht haben wir hier auch Daten, die wir nicht wirklich brauchen.
‫Außerdem sparen wir Lagerraum.
‫Richtig, denn wir müssen nicht alle diese Daten speichern und speichern nur strukturierte Daten, die nur für uns
‫nützlich sind.
‫Wir sparen uns auch etwas Geld.
‫Um einen Data Engineer zu überprüfen, wird einfach diese Pipeline erstellt, bei der die Datenerstellung und
‫Datenerfassung mithilfe von Data Engineering-Praktiken durchgeführt wird, um diese Pipeline aufzubauen, sodass Daten jetzt von Data Scientists und Datenanalysten analysiert
‫werden können.
‫Aber wir haben noch ein bisschen vor uns.
‫Also wir sehen uns im nächsten Video.