‫Willkommen zurück.
‫Also haben wir gerade den ganzen Ablauf der Datennutzung durch ein Unternehmen durchgegangen.
‫Aber es gibt noch ein paar Dinge, über die ich sprechen möchte, denn gerade haben wir gerade über Wasser
‫gesprochen und wie trifft das wirklich zu?
‫Welche Tools verwenden Data Engineers eigentlich?
‫Nun, Sie haben vielleicht schon von so etwas gehört.
‫Kafka, und zu Kafka kommen wir später, aber so etwas wie das Sammeln dieser Datenströme und das Einfügen in einen
‫Data Lake.
‫Könnte etwas sein, das Kafka oder Apache Kafka beispielsweise für Data Lakes tun könnten, dies sind
‫einfach Programme, die Unternehmen verwenden können.
‫Vielleicht haben Sie beispielsweise schon von Hadoop oder Amazon S3 oder Azure Datalink gehört.
‫Dies sind Programme, die von Ingenieuren entwickelt wurden, um große Datenmengen wie jeden Tag zu speichern.
‫Und dann haben wir für ein Data Warehouse Tools wie Google Bakery, Amazon Redshift, sogar
‫Amazon, Athena, das sind Data Warehouses, mit denen Ingenieure Abfragen durchführen oder diese strukturierten Daten analysieren können.
‫Nun, ich weiß, was Sie denken, wer macht was in diesem ganzen System?
‫Wir haben erfahren, dass der Dateningenieur dieses gesamte System für uns erstellt.
‫Sie verwenden verschiedene Tools und Programme, um Daten aufzunehmen und diese dann in einen Data Lake oder ein Data Warehouse zu übertragen.
‫Welche Daten verwenden Sie als Datenwissenschaftler und Experte für maschinelles Lernen?
‫Halten Sie das Video an und denken Sie darüber nach.
‫Bereit für die Antwort?
‫Nun, die meiste Zeit würden Sie mit einem Data Lake arbeiten.
‫Denken Sie daran, dass beim maschinellen Lernen je mehr Daten Sie haben, desto besser.
‫Richtig.
‫Und mit maschinellem Lernen können Sie strukturierte oder unstrukturierte Daten verwenden.
‫Sie können also in einen Data Lake gehen und tatsächlich eine Reihe von Daten abrufen, die Sie für Ihre Modelle verwenden können, unabhängig davon, ob
‫sie in CSV-Formularen oder anderen Formularen vorliegen.
‫Und normalerweise werden Data Warehouses von Wesen oder Business-Intelligence-Mitarbeitern oder Business-Analysten oder Datenanalysten verwendet, um Daten
‫zu visualisieren oder zu analysieren, da das Data Warehouse normalerweise mehr strukturierte Daten enthält, die bereinigt
‫wurden, als es noch ein Data Lake war.
‫Es ist viel einfacher, die Daten zu verstehen und zur Information zu verwenden.
‫Als Data Scientist können Sie jetzt Daten aus einem Data Warehouse verwenden.
‫Und das ist nicht nur eine Regel.
‫Normalerweise verwenden Sie alle Daten, die für Sie verwendbar sind.
‫Dies ist jedoch eine gute Möglichkeit, darüber nachzudenken, dass ein Datenwissenschaftler so viele Daten wie möglich
‫verwendet, so viele nützliche Daten wie möglich, während jemand wie ein Business-Intelligence-Mitarbeiter oder ein Datenanalyst
‫die Daten bereits bereinigt und von einem Data Engineer und nutzte so etwas wie ein Data Warehouse, um Daten
‫zu analysieren.
‫Und die große Abfrage von Google ist genau das und ermöglicht es jemandem mit nicht
‫allzu viel Engineering-Erfahrung oder Programmiererfahrung, diese Daten in einem Data Warehouse zu analysieren.
‫Eine andere Möglichkeit, darüber nachzudenken, ist so.
‫Normalerweise bauen Softwareentwickler, Softwareentwickler, App-Entwickler, mobile Entwickler Programme und Apps, die Benutzer
‫und Kunden verwenden und die Daten freigeben.
‫Dann würde ein Dateningenieur diese Rohrleitungen und Pipelines erstellen, damit wir Daten aufnehmen und in verschiedenen Diensten wie Hadoop, wie Google
‫Bakery, speichern können, damit der Rest des Unternehmens auf diese Daten zugreifen kann.
‫Als nächstes haben wir Data Scientists, die den Data Lake verwenden, sowie Data Scientists, um Informationen zu extrahieren und
‫einen geschäftlichen Nutzen zu erzielen.
‫Schließlich haben wir Datenanalysten oder Business Intelligence, die so etwas wie ein Data Warehouse oder strukturierte Daten verwenden, um wieder
‫einen Geschäftswert abzuleiten, und ich hoffe, das klärt das Bild ein wenig, wenn Sie all diese
‫Titel in der Branche hören.
‫Jetzt entwickelt sich die Branche schnell und es gibt definitiv einige Überschneidungen und manchmal kann die eine Stellenbeschreibung anders
‫sein als die andere.
‫Dies sind jedoch allgemeine vereinfachte Regeln, die Sie verwenden können, um zu verstehen, wie jede Rolle in den Teil eines
‫Unternehmens spielt.