‫Jetzt haben wir ein ideales Modell, das ziemlich gut abschneidet – auf dem so
‫validen Validierungsdatensatz, Emslie, ist die Metrik, auf die wir geachtet haben, weil dies die Bewertungsmetrik für diesen
‫speziellen Frachtwettbewerb ist.
‫Wenn Sie an einem anderen Problem oder einem anderen Datensatz arbeiten, haben Sie möglicherweise
‫einen anderen Bewertungsmesswert, den Sie verbessern möchten.
‫Aber jetzt geht es uns ganz gut.
‫Verwenden wir also unser ideales Modell, um Vorhersagen zu Testdaten zu treffen.
‫Es gibt einen kleinen Leckerbissen in diesem Abschnitt, den Sie sich unbedingt merken sollten, und wir werden
‫gleich darauf stoßen.
‫Zuerst müssen wir also die Testdaten importieren.
‫Nun, wenn wir einen Blick darauf werfen.
‫In unserem Datenordner, also nur in der Jupiter-Heimat, weil wir für dieses spezielle Projekt einen Projektordner erstellt und
‫unsere Daten heruntergeladen haben, legen Sie sie hier ein.
‫Hier drinnen gibt es einen Datensatz, der CSFI testet.
‫Das werden wir also verwenden.
‫Und wenn wir zu Kagle zurückkehren, sagt es uns, dass Test CSFI das Testset ist, das erst im Wettbewerb der letzten
‫Woche veröffentlicht wird.
‫Nun, wir haben es im Moment, da dieser Wettbewerb bereits bestanden ist.
‫Es enthält Daten vom 1. Mai 2012 bis November 2012.
‫OK, es geht also um die sechs Monate oder so nach unserer schönen Validierung.
‫Und unsere Modelle schneiden im Validierungsset gut ab.
‫Was Sie vielleicht sehen, ist, wie wir Vorhersagen über diese Zukunft machen können.
‫Sechs Monate Daten.
‫Also werden wir Eagles 'Reid als V testen, was genau das gleiche
‫tun wird, wie wir es am Anfang mit unserem Zug ungültiger Datensatz lubow für Bulldozer gemacht haben.
‫Wunderbar.
‫Und es heißt Test Ötzi, da wir bei niedrigem Speicher gleich false übergeben werden.
‫Und wir werden auch Daten weitergeben, denn denken Sie daran, dass wir an diesem Datensatz keine Manipulationen vorgenommen haben, wie wir es
‫an unseren anderen getan haben.
‫Wir werden gleich sehen, wo das ins Spiel kommt, und dann werden wir die DFG-Tests im Voraus überprüfen.
‫Ach, was ist los?
‫Ach, Tippfehler.
‫Wunderschönen.
‫Das kommt mir also bekannt vor.
‫Es ist etwas, das wir schon einmal gesehen haben, aber jetzt fehlt im Testdatensatz die Spalte mit dem
‫Verkaufspreis.
‫Und der Grund dafür ist, dass dies die Kolumne ist, die wir vorhersagen wollen.
‫Warum sehen wir nicht, ob wir das können?
‫Also gehen wir das Gleiche-Ideal-Modell von Spread an.
‫Wir verwenden unser Idealmodell dieses Zeitmodell nicht vorherzusagen.
‫Ein ideales Modell hat die beste Leistung erbracht, und wir sollten in der Lage sein, den gesamten Datenrahmen einfach zu überschreiten.
‫Richtig, denn dies sind unsere X-Werte und wir müssen keine Spalten löschen, da es
‫keine Verkaufspreisspalte gibt.
‫Schauen wir also, was passiert.
‫Geben Sie hier einen kleinen Kommentar ab, machen Sie Vorhersagen zum Testdatensatz und stellen Sie eine kleine Herausforderung dar, bevor wir
‫diese Zelle ausführen. Ich möchte, dass Sie darüber nachdenken, was mit unserem Modell für maschinelles Lernen passieren
‫könnte.
‫Es wurde mit einem bestimmten Datensatz trainiert und jetzt haben wir den Testdatensatz importiert.
‫Was passiert, wenn wir versuchen, Vorhersagen für diesen Datensatz auf der Grundlage von Ich gebe Ihnen einen Hinweis basierend auf
‫den Daten, auf denen unser Modell trainiert wurde.
‫Und wenn Sie sich nicht sicher sind, ist das in Ordnung, wir werden es in einer Sekunde sehen, wir sollten es jetzt sehen.
‫Ach, los geht's.
‫Wertfehler.
‫OK, was hier passiert, konnte String nicht in Float konvertieren.
‫Oh, ok.
‫Wenn Sie sich also ganz oben erinnern, blättern wir durch unser Notizbuch, das wir gerade durchgearbeitet haben,
‫nach oben.
‫Was haben wir gemacht, bevor wir ein maschinelles Lernen trainieren konnten, was wir als einen ähnlichen Fehler sahen, als
‫wir hier oben anfingen, als wir mit der Modellierung begannen.
‫Es wäre toll, wenn ich es finden könnte.
‫Unser Modell.
‫Hat nicht funktioniert.
‫Auf geht's.
‫OK, baue ein Modell, also neige zum Drop.
‫Konnte String nicht in Flight konvertieren, also die gleichen Fehlermeldungen, was ist unten?
‫Nun, der Grund dafür ist, warum denkst du?
‫Nun, es liegt daran, dass wir beim Importieren unseres ursprünglichen Datensatzes einige Manipulationen daran vorgenommen haben. Was haben wir dann
‫gemacht?
‫Wir haben sichergestellt, dass unsere Daten numerisch sind und dass keine Werte fehlen.
‫Was wir jetzt getan haben, ist, dass wir deftest importiert haben.
‫Möglicherweise fehlen einige Werte, was auch der Fall ist.
‫Und es ist möglicherweise nicht alles numerisch.
‫Und.
‫Weit.
‫Wir haben hier ziemlich viel Datenverarbeitung gemacht, und wenn wir die Spalten überprüfen.
‫Dies sind also alle Funktionen, aber wenn wir uns die X-Reihenfolge ansehen.
‫Nun, Danny Bracket ist ein.
‫Uns ist aufgefallen, dass die Spalte Lancs eine andere ist.
‫Hmm.
‫Also gibt es einhundertzwei Spalten in al X train, wohingegen im Test, was haben wir hier?
‫Wir haben es hier oben schon einmal gesehen, als wir Punktkopf gemacht haben.
‫Zweiundfünfzig Spalten, hmm.
‫Der Grund, warum unser Modell für maschinelles Lernen derzeit keine Vorhersagen für den Testdatensatz treffen kann, liegt darin, dass er
‫nicht das gleiche Format hat, auf dem das Modell trainiert wurde oder auf dem das Modell trainiert wurde.
‫Das müssen wir also tun.
‫Gut.
‫Lassen Sie uns diese hier loswerden.
‫Und wie könnten wir dies tun, damit wir die Daten vorverarbeiten können.
‫Mit anderen Worten, es ist wunderbar, den Testdatensatz im gleichen Format wie unsere Trainingsdaten zu erhalten.
‫Wie könnten wir dies tun?
‫Was wir also tun könnten, ist, denke ich, eine Funktion dafür zu erstellen.
‫Wenn wir also einen neuen Datensatz importieren, beispielsweise einen Testdatensatz, haben wir tatsächlich einige Manipulationen an
‫unseren Trainingsdaten vorgenommen.
‫Wir könnten diese Funktionen, die wir mit dem Trainingsdatensatz gemacht haben, nehmen und genau
‫das Gleiche mit dem Testdatensatz tun, sodass sie beide gleich sind.
‫Das macht Sinn.
‫Sehen wir es uns zuerst an.
‫Mal sehen, ob wir das schaffen.
‫So werden vorverarbeitete Daten in einem Datenrahmen übergeben.
‫Wir hinterlassen hier eine kleine Notiz.
‫Führt also Transformationen auf D durch. F. und durch einfaches Recht umgewandelte Renditen.
‫Wir möchten eine Funktion erstellen, die eine Art Datenrahmen benötigt.
‫Es führt eine Reihe von Manipulationen an diesem Datenrahmen durch und gibt diesen Datenrahmen schließlich zurück.
‫Jetzt müssen wir also alle Transformationen ausfüllen, die wir ursprünglich für die Zeitarbeit hier gemacht haben.
‫Und so können wir das tun, indem wir nach oben gehen.
‫Wir müssen vielleicht ein paar Kopien machen und Pasir, also denk dran, gleich wieder ganz oben.
‫Dies ist also eine kleine Regel, ein kleiner Leckerbissen, was Sie mit dem Trainingsdatensatz machen,
‫müssen Sie mit dem Testdatensatz tun.
‫Das ist also ein Leckerbissen für maschinelles Lernen.
‫OK, also hier ist der erste große Satz von Manipulationen, den wir gemacht haben.
‫Sie könnten das wunderbar kopieren.
‫Und wir können uns nur an diese Zeile erinnern, also haben wir hier einige Informationen basierend
‫auf dem Colin Saldate tagsüber hinzugefügt und dann entfernt.
‫Das sind also die ersten beiden Schritte, die wir tun müssen.
‫OK, wir scrollen bis zum Ende unseres Notizbuchs.
‫Ich werde in diesem Video viel scrollen, weil wir drei wichtige Dinge richtig gemacht haben.
‫Wir haben hier einige Informationen zur Tageszeit hinzugefügt oder extrahiert.
‫Das ist wahrscheinlich die bessere Idee.
‫Wir haben Informationen aus unserer Datum/Uhrzeit-Spalte extrahiert und dem Datenrahmen hinzugefügt, damit wir zu D gehen können. F.
‫Punkt fallen.
‫Und nachdem wir dies getan haben, wird die Saldate-Spalte gelöscht.
‫Und wir gehen: Zugriff ist gleich eins und an Ort und Stelle ist wahr, wunderbar, und wir müssen die Temp von all diesen entfernen, weil wir
‫nur D verwenden. F..
‫Ein kleiner Trick besteht also darin, den Cursor zu bewegen und den Befehl gedrückt zu halten, wenn Sie einen Mac verwenden, oder die
‫Steuerung, wenn Sie Windows verwenden, und wir können einfach hier zur Basis zurückkehren.
‫Wunderbar, oder?
‫Weil wir nicht mit do temp arbeiten.
‫Wir arbeiten mit D. F..
‫Jeder beliebig benannte Datenrahmen funktioniert also mit unserer Funktion.
‫Als nächstes mussten wir die numerischen Zeilen mit Madian füllen und wir auch.
‫Gefüllt, kategorisch.
‫Fehlende Daten und in Zahlen umgewandelt.
‫Kategorien wiederum in Zahlen.
‫Das ist es, was wir wieder nach oben scrollen und finden müssen.
‫Okay, machen wir das zuerst.
‫Wir besorgen die fehlenden fehlenden neuen Wunder.
‫Zum Glück haben wir unser Notizbuch ausgelegt.
‫Wir haben diese Überschriften hier hinzugefügt, damit wir sehen können, was wir gemacht haben.
‫Das gehört alles dazu, sich selbst zu helfen, oder?
‫Füllen Sie also numerische Zeilen am Median aus.
‫Eigentlich brauchen wir diesen ganzen Code hier.
‫Das kopieren wir.
‫Wunderschönen.
‫Hier können also Kommentare und verschiedene Überschriften in Ihrem Notizbuch Ihrem zukünftigen Selbst wirklich
‫helfen, wenn Sie Dinge funktionalisieren und aufräumen möchten.
‫Also los gehts, wir müssen das DF-Zelt abbauen, wir gehen runter zum Camp.
‫Wir wollen diese Temperatur nicht.
‫Wir wollen nur D. F..
‫OK, schön, und wir müssen noch kategorische fehlende Daten ergänzen und Kategorien in Zahlen umwandeln.
‫Mal sehen, ob wir uns jetzt daran erinnern können, wie das geht, anstatt wieder nach oben scrollen zu müssen, weil
‫wir ehrlich gesagt genug gescrollt haben.
‫Wir können dies also tun, wenn nicht, wenn wir uns erinnern, wenn es kein numerischer Typ ist.
‫So haben wir es gemacht, Inhalt vom Typ numerischer Typ zu schreiben, weil wir eine Schleife durchlaufen.
‫Wir sind hier in derselben Schleife.
‫Inhalt, den wir erreichen wollen D. F. Beschriftung plus Unterstrich fehlt.
‫Ja, gleich.
‫Es wird also prüfen, ob es jetzt ist, ob wir jetzt
‫ein Label hinzufügen möchten, dass das Label fehlt, dass dieser bestimmte Datenpunkt fehlt und wie wir dem Kategoriecode plus eins hinzufügen, da Pandas
‫und fehlende Kategorien als negativ kodieren .
‫Hier können wir also hingehen.
‫D. F. Label Eagles 'PD kategorisch.
‫Verwandeln Sie es also in ein kategorisches Element, um den Inhalt einer bestimmten Spalte in eine Kategorie umzuwandeln und dann auf ihren Code
‫zuzugreifen, a. k. A. in eine Zahl umwandeln und dann plus eins.
‫Alles klar, keine schlechte Funktion.
‫Das passiert also in einem Notebook-Workflow, richtig, hier oben könnte man wahrscheinlich das
‫meiste davon als ziemlich chaotisch einstufen.
‫Wir haben uns mit verschiedenen Überschriften und so weiter und Kommentaren ausgeholfen.
‫Wenn Sie jedoch weiter in den Prozess einsteigen, werden Sie beginnen, diese Hilfsfunktionen zu erstellen.
‫Sie fassen also eine ganze Reihe verschiedener Schritte in einer Funktion zusammen, damit die Dinge im Notebook wirklich
‫synchronisiert werden.
‫Und Sie können einfach eine solche Funktion aufrufen, ähnlich wie unsere Funktion Scores anzeigen, und sie führt einen Prozess aus, der jedes
‫Mal gleich ist, anstatt durch das Notizbuch nach oben scrollen und etwas in einer anderen Zelle
‫finden zu müssen.
‫Jetzt können wir also die Umschalttaste drücken, das eingeben oder was passiert ist.
‫Erwarteter fehlender Block.
‫Ich dachte nicht, dass wir einen brauchen.
‫Oh ja, da brauchen wir es.
‫Wir brauchten hier Indianer.
‫Los geht's, klassisch.
‫Das passiert, wenn wir Code kopieren und einfügen, oder?
‫Die Formatierung ist nicht immer perfekt, schön.
‫Wir haben hier also eine Funktion, die eine Art Datenrahmen vorverarbeitet.
‫Es werden einige Informationen basierend auf der Saldate-Spalte hinzugefügt.
‫Es wird numerische Zeilen mit dem Median füllen.
‫Es wird die fehlenden kategorialen Daten in einen Nullwert und den Rest der
‫Daten in die schöne Kategoriecodenummer umwandeln.
‫Es geht also durch ein paar Schritte, aber das ist eine Funktion des rechten Flügels.
‫Geht es noch zusammen?
‫Und was könnten wir jetzt hier tun?
‫Eigentlich ist eine gute Frage, wo könnte diese Funktion kaputt gehen?
‫Ich werde Sie vielleicht für dieses Video darauf verlassen, damit es nicht zu lang wird.
‫Ich möchte, dass Sie sich diese große Funktion ansehen, die wir erstellt haben, und überlegen, wie sie
‫funktionieren könnte, wenn wir sie bestanden haben, unseren Trainingsdatenrahmen?
‫Und wenn wir dann unseren Testdatenrahmen weitergegeben haben.
‫Rechts.
‫DF-Test, der hier oben ist, haben wir diesen Datenrahmen bestanden.
‫Wie könnte es brechen?
‫Wir werden das nächste Video beantworten.