‫Willkommen zurück.
‫Was sind Daten, ich meine, wir haben bereits darüber gesprochen und wir sollten eine Vorstellung davon haben, was Daten sind, und wir
‫wissen auch, warum sich Unternehmen für Daten interessieren, oder?
‫Wir leben heute in einer Welt, in der Daten wertvoll sind und einige der wertvollsten Unternehmen wertvoll sind, weil sie
‫Daten sammeln.
‫Unternehmen wie Facebook und Google verkaufen Daten, um Geld zu verdienen.
‫Sie stellen Produkte für Kunden bereit, indem sie die Daten verwenden, um ihre Produkte zu verbessern.
‫Daten sind das neue Gold.
‫Unternehmen kümmern sich also darum, denn wenn wir
‫ihre Daten verstehen, können sie Teil des Produkts sein, z.
‫Und Sie können Daten auch verwenden, um das Unternehmen zu verbessern und fragen, können wir es besser machen?
‫Was können wir verbessern?
‫Wie können wir unsere Apps schneller machen?
‫Unternehmen interessieren sich also sehr für Daten, aber ich möchte mir etwas Zeit nehmen, um wirklich zu verstehen,
‫was Dateningenieure tun, indem sie diese Daten manipulieren oder sammeln.
‫Sprechen wir also über die vier verschiedenen Datentypen.
‫Wir haben gelernt, dass es Dinge gibt, die strukturierte Daten genannt werden.
‫Nun, dies sind Daten, die für uns eigentlich gut organisiert sind, um sie zu verstehen und zu lesen, weil
‫Daten auf unterschiedliche Weise aus verschiedenen Quellen gesammelt werden.
‫Richtig.
‫Aber einmal auf einem Computer gibt es eine Standardmethode, normalerweise in einer Tabelle oder einer sogenannten Matrix, einer Tabelle, die
‫das Lesen erleichtert.
‫Attribute sind normalerweise Spalten und Zeilen sind normalerweise Instanzen.
‫Und manchmal haben wir die Ausgaben und sie sind ganz rechts, wie wir es beim maschinellen Lernen gesehen haben,
‫wo wir eine Ausgabe basierend auf den Eingaben und der Struktur vorhersagen.
‫Daten stammen normalerweise aus relationalen Datenbanken wie MySQL, Postcrisis und anderen relationalen Datenbanken, die es
‫uns ermöglichen, sogenannte ESKIL-Abfragen durchzuführen, dh Aktionen an den strukturierten Daten durchzuführen,
‫um Informationen zu sammeln.
‫Dann gibt es halbstrukturierte Daten, sie sind immer noch strukturierte Daten, aber oft in so etwas wie XML,
‫CSFI, das wir gesehen haben, oder JSON.
‫Und dies sind nur unterschiedliche Erweiterungen und unterschiedliche Möglichkeiten zum Speichern von Daten in verschiedenen Dateien.
‫Zum Beispiel eine sehr beliebte Website, um online frei zugängliche Daten zu sammeln und Datensätze zu finden, vielleicht sogar Wettbewerbe zu machen oder die
‫Notizbücher anderer Leute zu sehen und über Themen des maschinellen Lernens zu sprechen. Nun, Kagle
‫ermöglicht es uns, uns tatsächlich Datensätze anzusehen, die für uns verfügbar sind zu benutzen und damit zu spielen.
‫Und hier drin, wenn ich so etwas wie XML eingebe.
‫Sie geben mir alle Informationen oder alle Daten.
‫Lassen Sie uns diese im XML-Format vergrößern.
‫Also zum Beispiel, wenn ich auf Bilder von Blutkörperchen klicke.
‫Und ich.
‫Schauen Sie hier vorbei, ich sehe, dass die Datenquellen dort einige CSFI-Dateien sind, aber
‫auch einige XML-Dateien.
‫Und wenn ich nach unten scrolle, gibt es auch einige Bilder.
‫Also verschiedene Datenformate, die wir verwenden können.
‫Übrigens, wenn Sie hier auf Filter klicken, sehen Sie tatsächlich einige der für Daten verfügbaren
‫Dateitypen.
‫Jetzt wissen wir über CVS's Bescheid, es gibt auch Jason, wo Jason, wenn wir einen Blick darauf werfen und zu diesem Bierstil
‫gehen.
‫Wenn ich nach unten scrolle, sehen wir, dass es im JSON-Format und im Jason-Format vorliegt. Sie können sehen, dass diese baumartige
‫Struktur zum Erkunden von Daten vorhanden ist.
‫Also nur ein bisschen anders als CSFI.
‫Nur eine andere Möglichkeit, Daten zu organisieren.
‫Wie ich erwähnt habe.
‫Auf Kagle finden Sie all diese Arten von Datensätzen mit verschiedenen Dingen, SQLite Light zum
‫Beispiel ist eine Art Datenbank und mit Eskew auch strukturierte Daten.
‫Also, wenn ich Sie hier um ein Licht bitte und nach etwas suche, indem Sie relationale Datenbanken verwenden.
‫Sie werden sehen, dass diese Verwendung fragt Sie alle.
‫Und es sagt uns, welche Art von Handel es hat.
‫Es gibt also viele Möglichkeiten, Kagle zu erkunden, aber diese beiden Arten von Daten sind normalerweise gut organisiert
‫und können mit Tools wie Pandas für Kaffee leicht bearbeitet werden.
‫Und mit Pandas kann man eigentlich auch alles machen.
‫Die dritte Art sind unstrukturierte Daten.
‫Und Daniel hat dies bereits erwähnt.
‫Richtig?
‫Diese Idee von unstrukturierten Daten ist gut, sie liegen normalerweise nicht in einfachen Formaten vor, die wir wirklich leicht
‫manipulieren und analysieren können.
‫Dies sind oft Dinge wie E-Mails oder PDF oder jede Art von Dokumenten, bei denen es vielleicht etwas schwieriger
‫ist, sie tatsächlich zu verstehen.
‫Es ist unstrukturiert.
‫Schließlich haben wir binäre Daten.
‫Dies sind Dinge wie Audiodateien, Bilddateien, Videodateien.
‫Sie sind binär, das sind Einsen und Nullen, die Computer verstehen können.
‫Aber für uns ist es wirklich sehr schwierig, sie zu kategorisieren.
‫Wie Sie sehen, geht es von oben nach unten.
‫Von wirklich organisierten, gut gekennzeichneten Daten bis hin zu etwas schwieriger zu organisierenden Daten, insbesondere für Maschinen, warum
‫müssen wir also über diese vier Datentypen sprechen?
‫Nun, weil die meisten Unternehmen.
‫Je größer sie werden, werden nicht nur strukturierte Daten haben, sondern auch alle
‫möglichen Daten, alle möglichen Eingaben, die irgendwie zusammenarbeiten müssen.
‫Eine der Aufgaben eines Data Engineers besteht also im Wesentlichen darin, die Tatsache, dass es all diese Arten von Daten gibt,
‫zu nutzen und sie irgendwie zu kombinieren oder in einer für das Geschäft nützlichen Weise zu organisieren.
‫Machen wir hier eine Pause und erkunden Sie im nächsten Video mehr.