‫Lassen Sie uns diese allgemeine Übersicht über die Tätigkeiten eines Dateningenieurs mit einer Beschreibung der drei Hauptaufgaben
‫abschließen.
‫Einer ist, dass sie etwas bauen, was wir eine et al. Pipeline nennen.
‫Oder eine Pipeline zum Laden von Extrakttransformationen.
‫Anders als bei der Datenaufnahme, die einfach das Verschieben von Daten von einem Ort zum anderen und seiner Pipeline bedeutet,
‫besteht die Idee darin, dass ein Dateningenieur Daten extrahiert, die von all diesen Systemen generiert wurden.
‫Sie extrahieren diese Daten und transformieren sie dann, wenn sie diese Daten extrahieren.
‫Die Daten in ein nützliches Formular, das in ein Data Warehouse geladen werden kann, also extrahieren sie die Daten, transformieren
‫die Daten und laden sie in so etwas wie ein Data Warehouse, damit die Daten von den
‫anderen verwendet werden können des Unternehmens.
‫Und sie verwenden Programmiersprachen wie Python, Go Skalla und Java, um diese ETEL-Jobs zu erledigen oder die Last
‫zu extrahieren, zu transformieren.
‫Das ist die erste Frage, was ist die zweite?
‫Der zweite ist Gebäudeanalysetools.
‫Damit wir verstehen, wie unsere Unternehmenssysteme funktionieren, muss ein Dateningenieur sicherstellen, dass wir benachrichtigt werden,
‫wenn ein Teil des Systems ausfällt.
‫Ein Data Engineer ermöglicht es Datenwissenschaftlern, Datenanalysten und Business-Intelligence-Mitarbeitern, Tools zur Analyse der
‫Daten zu verwenden, aber auch um sicherzustellen, dass das von ihnen eingerichtete System ordnungsgemäß funktioniert.
‫Schließlich besteht ihre dritte Hauptaufgabe offensichtlich darin, das Data Warehouse und die Data Lakes zu pflegen, die
‫sicherstellen, dass alles darin für andere Teile des Unternehmens zugänglich ist.
‫Jetzt haben wir also einen groben Überblick darüber, was ein Data Engineer tut.
‫Ich möchte über einige der Tools sprechen, von denen Sie in der Branche definitiv
‫gehört haben, Dinge wie Hadoop, Kafka, Apache, Spark, all diese Begriffe, die wirklich schwer zu verstehen sind.
‫Ich werde versuchen, Ihnen einen Überblick über diese Landschaft zu geben, damit Sie das nächste Mal, wenn Sie jemand zu Hass
‫fragt, Hadoop verwenden sollten?
‫Hey, wofür ist Hadoop?
‫Was brauchen wir?
‫Kafka, das wirst du beantworten können.
‫Und nach diesem Kurs können Sie auf eigene Faust loslegen und tatsächlich lernen, diese Tools zu verwenden, wenn sie jemals in
‫Ihrem Job auftauchen.
‫Jetzt verändert sich diese Landschaft schnell.
‫Es gibt neue Werkzeuge, die links, rechts und in der Mitte auftauchen.
‫Mein Rat an Sie ist also, dass ich Ihnen in den nächsten paar
‫Videos zeigen werde, die Sie nicht als absolutes Muss für alle Dateningenieure ansehen, sondern wissen, dass sie existieren, gehen Sie und
‫lesen Sie einige ihrer Dokumentationen. einige der Informationen online, aber lernen oder verwenden Sie sie nur bei Bedarf,
‫da sie ständig aktualisiert werden.
‫Und die Welt des Data Engineering ist gerade sehr schnelllebig.
‫Aber lassen Sie uns in den nächsten Videos keinen Zweifel an den Daten haben.