‫Willkommen zurück.
‫In einem kurzen Abschnitt möchte ich ein Thema behandeln, das in Data Science- und Machine Learning-Kursen oft
‫vergessen wird.
‫Um ein Thema jedoch wirklich zu verstehen, müssen wir die übergeordneten Prinzipien und die
‫Landschaft dieses Themas verstehen.
‫In diesem Fall möchten wir als Data Scientist oder Machine Learning Engineer arbeiten.
‫Wir müssen also zumindest das Thema Data Engineering verstehen.
‫Aber was bedeutet das?
‫Was ist mit all diesen Titeln, Datenwissenschaftler, Datenanalyst, Datenvisualisierung, das ist Wahnsinn, das ist
‫so verwirrend.
‫Nun, lassen Sie uns über Data Engineering sprechen und wie es in dieses ganze Ökosystem passt, über das wir bisher
‫gesprochen haben.
‫Jetzt haben wir gelernt, dass es bei Data Science darum geht, Daten zu verwenden, um Geschäftsentscheidungen zu treffen.
‫Richtig.
‫Eine Möglichkeit, Geschäftsentscheidungen zu treffen, besteht darin, eine Technik wie maschinelles Lernen zu verwenden.
‫Und das ermöglicht einem Computer, zu lernen und die Lösung für ein Problem zu finden,
‫das für einen Menschen möglicherweise etwas zu kompliziert oder zu mühsam ist und zu lange dauert.
‫Wir wollen es automatisieren, damit maschinelles Lernen eine Technik ist und Data Science die Idee ist, Daten zu verwenden
‫und in etwas Nützliches für ein Produkt oder ein Unternehmen umzuwandeln.
‫Und die Datenanalyse ist eine Teilmenge der Data Science, die es uns ermöglicht, die uns vorliegenden Daten zu analysieren, aber das
‫fehlende Stück ist das Data Engineering und nicht alle Unternehmen haben Data Engineers.
‫Aber da Unternehmen immer größer werden, müssen sie für diese Rolle neue Mitarbeiter einstellen.
‫Werfen wir einen Blick darauf, warum uns all diese Daten in einer netten kleinen Datei zur Verfügung gestellt werden.
‫Woher kommen diese Daten?
‫Wie handhaben wir es?
‫Werfen wir es weg, wenn wir fertig sind?
‫Wer hat diese Daten gekennzeichnet?
‫Sie sehen, ein Data Scientist oder ein Experte für maschinelles Lernen muss sich die meiste Zeit
‫nicht mit diesen Themen beschäftigen.
‫Sie haben idealerweise Zugriff auf die Daten, denn dieser Teil der Daten wird von einem Dateningenieur bearbeitet, wer ist
‫also diese mythische Figur?
‫Nun, ein Dateningenieur würde alle eingehenden Datenpunkte nehmen, sagen wir, für ein Unternehmen.
‫Nehmen wir an, dieses Unternehmen hat all diese Produkte und all diese Daten, die von
‫seinen Benutzern, von ihren Überwachungskameras, von ihrer Website, von Iot-Geräten stammen.
‫Und ein Dateningenieur nimmt all diese Informationen auf.
‫Und dann produziert und pflegt es in Datenbanken oder einer bestimmten Art von Computern, damit das Unternehmen auf
‫organisierte Weise auf diese Daten zugreifen kann.
‫Sie sind also eine Art Bibliothekar, in dem sie all diese Informationen sammeln
‫und für uns organisieren, damit Leute wie Machine Learning oder Data Science-Experten diese Daten verwenden können.
‫Dies ist jedoch eine vereinfachte Version dessen, was ein Dateningenieur tut.
‫Damit wir das wirklich verstehen, müssen wir zum Anfang zurückgehen und die Frage
‫stellen, anhand welcher Daten ich im nächsten sehen werde.