‫OK, OK, also was macht eigentlich ein Dateningenieur?
‫Beginnen wir mit drei großen Wörtern, die wir verstehen müssen, bevor wir wirklich verstehen, was ein
‫Data Engineer tut.
‫Ja, ich weiß, ich kreise immer wieder um Data Engineer herum und errege dich immer wieder, aber ich verspreche, dass wir uns wirklich
‫sehr, sehr nahe kommen.
‫Wir müssen nur diese drei Kriege besprechen, von denen Sie vielleicht gehört haben oder nicht.
‫Eine davon ist Data Mining und Data Mining bedeutet einfach die Vorverarbeitung und das Extrahieren von Wissen aus den
‫Daten.
‫Wir verwenden also eine Art von Daten, um Wissen aus dem, was Data Mining ist, zu extrahieren.
‫Große Daten.
‫Nun, es bedeutet, dass wir viele Daten haben, viele Variablen, tatsächlich so viele Daten,
‫dass Sie nicht auf Ihrem Laptop laufen können und es einfach zu viele Daten für Ihren Laptop oder Computer gibt.
‫Wenn wir von Big Data sprechen, handelt es sich normalerweise um Daten, die so groß sind, dass Sie sie auf Cloud
‫Computing oder auf mehreren Computern wie einem W. S. Azure und Google Cloud, weil sie viele Computer und viel Speicherplatz
‫haben, um diese Daten zu speichern.
‫Das ist es, was Big Data hat.
‫Big Data sind Daten, die Sie normalerweise nicht nur auf einem Computer haben können.
‫Dies geschieht normalerweise, weil die Datensätze so groß werden, dass wir jetzt Petabyte und Petabyte an Daten haben.
‫Es wird also wirklich schwierig, Daten in einer Datenbank wie meiner Schule oder PostgreSQL oder jeder Art von Datenbank zu haben, wenn
‫diese Datenbank nur ein einzelner Computer ist.
‫Jetzt wurden neue Technologien erfunden, um dieses Problem von Big Data wie Hadoop und NQ zu lösen, über die wir alle sprechen
‫werden.
‫Nun, eine Datenpipeline ist im Wesentlichen eine Pipeline, die ein Dateningenieur erstellt, um im Wesentlichen die Tatsache zu nutzen, dass wir diese
‫große Datenmenge hatten. Wir müssen mithilfe von Data Mining Informationen aus diesen Daten extrahieren.
‫Wir müssen also eine Pipeline bereitstellen oder aufbauen, die es uns ermöglicht, von dieser unbekannten großen Datenmenge zu einer
‫Pipeline zu fließen, die Daten extrahiert und in eine nützlichere Form bringt.
‫Ein Dateningenieur erstellt dies also im Wesentlichen eine Datenpipeline, in der alle Informationen, die verschiedene
‫Geräte wie IOT-Geräte, mobile Anwendungen, Web-Apps, Kameras, Autos und so ziemlich alles sammeln, was Daten
‫sammelt und speichert oder Daten auf Servern oder in der Cloud protokolliert, enthalten
‫sind , sammelt ein Dateningenieur im Wesentlichen all diese Informationen in schön gepackten Datenbanken und speichert Engines, damit
‫verschiedene Teile des Unternehmens Visualisierungen erstellen können.
‫Sie können die Leistung ihres Produkts überwachen.
‫Sie können aus diesen Daten Geschäftseinblicke gewinnen und Geschäftsentscheidungen treffen und diese Daten sogar in ihren Apps
‫verwenden.
‫Zum Beispiel für Benutzerprofile, bevor ein Datenwissenschaftler oder ein Experte für maschinelles Lernen oder sogar ein
‫Business Intelligence- oder Datenanalyst für ein großes Unternehmen eingestellt wird.
‫Bevor das alles möglich ist, müssen sie einen Datentechniker einstellen.
‫Sie bilden die Pipeline, die es uns ermöglicht, als Data Scientists zu arbeiten.
‫Erinnern Sie sich an dieses Diagramm und daran, wie wir uns auf diesen Teil konzentriert haben.
‫Nun, ein Dateningenieur erlaubt uns, diesen Teil der Datenerfassung durchzuführen.
‫Sie bringen all diese Informationen ein und organisieren sie so, dass wir unsere Datenmodellierung durchführen können.
‫Sie helfen uns wirklich bei diesem Teil der Datenerfassung, mit dem Sie sich normalerweise als Ingenieur für maschinelles Lernen
‫oder Datenwissenschaftler nicht zu sehr beschäftigen müssen.
‫Aber weißt du was?
‫Meine Lieblingsdemonstration, was ein Data Engineer ist, ist im nächsten Video.
‫Ich hoffe, Sie sind aufgeregt, denn die Dinge werden immer mehr Sinn ergeben.
‫Wir sehen uns dabei.
‫Tschüss.