‫Willkommen zurück.
‫Und im letzten Video haben wir gesehen, wie wir die Vorhersagemethode verwenden können, um Vorhersagen
‫ohne maschinelle Lernmodelle, ausgerüstete maschinelle Lernmodelle zu Regressionsmodellen oder Regressionsschätzungen wie in der Terminologie des psychischen Lernens
‫zu treffen.
‫Schauen wir uns also noch einmal an, was wir behandeln, was wir behandeln.
‫Also haben wir null eins bis drei gemacht.
‫Wir haben einige Vorhersagen zu unseren Daten gemacht, weil das Endziel des maschinellen Lernens
‫darin besteht, Vorhersagen zu treffen.
‫Wir haben einige vorhandene Daten.
‫Wir würden gerne einen Algorithmus mit diesen Daten ausprobieren, um Muster zu finden und diese Muster für zukünftige Vorhersagen
‫zu verwenden.
‫Genauso wichtig wie diese Vorhersagen ist die Bewertung dieser Vorhersagen.
‫Lassen Sie uns also darauf eingehen.
‫Ich werde hier eine neue Überschrift schreiben.
‫Habe 4. 0, die ein Machine-Learning-Modell auswertet.
‫Der Grund, warum wir unsere Modelle evaluieren, ist, dass wir ein Modell erstellt haben, um etwas vorherzusagen, und es
‫dann in eine Anwendung einfügen wollten.
‫Wenn unser Modell schlechte Vorhersagen macht, wäre das eine großartige Erfahrung für jeden, der diese Anwendung
‫verwendet?
‫Wahrscheinlich nicht.
‫Bevor wir also unsere Modelle in die Anwendung einfügen oder etwas sehr Kritisches vorhersagen, möchten
‫wir die vorhandenen Vorhersagen auswerten, die wir können.
‫Mit Typekit Learn gibt es also drei Möglichkeiten, eine gute Bewertung vorzunehmen, drei integrierte Möglichkeiten, Ihre
‫eigenen benutzerdefinierten Gewichtungen zu erstellen, aber drei Möglichkeiten, um Socket-Line-Modelle Slash-Schätzungen auszuwerten.
‫Diese sind Teil dieser Typekit-Linienbibliothek.
‫Eine davon ist, dass die Schätzung in der Score-Methode integriert ist.
‫Damit haben wir bisher ein wenig Erfahrung.
‫Zwei ist der Bewertungsparameter.
‫Wir haben diesen einen Bewertungsparameter, den wir möglicherweise haben, nicht gesehen.
‫Eigentlich haben wir viel behandelt, aber wir werden jede dieser Funktionen durchgehen und dann problemspezifische
‫metrische Funktionen.
‫Abhängig von Ihrer Arbeit mit Klassifizierung oder Regression werden für jede dieser Problemzeiten
‫spezifische Bewertungsmetriken erstellt.
‫Und woher bekommen wir das?
‫Nun, das kommt in die Steckdosen-Darlehensdokumentation.
‫Dies sind Metriken, und das Scoring ist ein sehr wichtiger Bestandteil.
‫Das ist übrigens Ihr eigentlicher Lehrplan.
‫Um dies durchzulesen, müssen Sie nicht alle diese auswendig kennen, sondern nur verstehen, wo
‫Sie diese Informationen finden.
‫Das ist alles ein großer Teil des Berufes als Programmierer und insbesondere als Ingenieur für maschinelles Lernen.
‫Ein Datenwissenschaftler weiß nur, wo er suchen muss, wo er Dinge herausfinden kann.
‫Also werde ich dies hier einfügen, und ich habe die drei verschiedenen APIs genommen.
‫Wir haben also die geschätzte Schulmethode, den Bewertungsparameter und die metrischen Funktionen.
‫Beginnen wir damit, jeden dieser Punkte aufzuschlüsseln.
‫Hey, das bringe ich hier rein.
‫Und dann stelle ich das hier ein.
‫Mehr dazu können Sie hier lesen.
‫Wunderbar.
‫Lassen Sie uns die Bewertungsmethode noch einmal zusammenfassen, und ich werde dies so formatieren, dass es schön und hübsch
‫aussieht.
‫Ball in das - schön.
‫Lassen Sie uns eine Zusammenfassung machen, also werde ich es ein wenig, nicht eine kleine Überschrift hier.
‫Vier Punkt eins Wir werden ein Modell mit der Score-Methode evaluieren.
‫Verwandeln Sie das in einen Abschlag und wir gehen von S. K. gelernter Ensemble-Import Random Forest Classifier.
‫Also machen wir es mit unseren Klassifizierungsdaten.
‫Erster MP, zufälliger Seed.
‫Zweiundvierzig.
‫Jetzt will ich dich.
‫Ich möchte, dass du dir gibst.
‫Geben Sie hier eine Herausforderung.
‫Erstellen Sie X und Y.
‫Ich werde hier einige Kommentare hinterlassen.
‫Erstellen Sie X und Y.
‫Zugtest erstellen.
‫Dies wird also X gleich Herzkrankheit sein, etwas, das wir aus unserem Datensatz für Herzkrankheiten verwenden und
‫dann erstellen möchten.
‫Ich gehe einfach hier in die Klassifikatormodellinstanz und passe dann den Klassifikator an die Trainingsdaten an.
‫Das ist also meine Herausforderung an Sie.
‫Ich werde dir das Video hier posten und versuchen, diese Kommentare selbst auszufüllen,
‫aber ich werde in drei darauf zurückkommen.
‫Eins auf der Rückseite, und ich hoffe, Sie haben es versucht, diese auszufüllen, aber wenn nicht, ist das in Ordnung.
‫Wir werden sie gemeinsam durchgehen.
‫Wir haben diesen Code gerade hier oben geschrieben, und dies ist eines der wenigen Male, in denen ich Sie jemals
‫Code kopieren und einfügen lasse, als ob wir Sachen bekommen hätten, wenn wir Sachen umschreiben, die wir schon einige Male geschrieben haben
‫mal vor.
‫Also werde ich das kopieren.
‫Ich werde das runterbringen.
‫Wir testen die Score-Methode, das ist die erste, die wir auschecken, also kopieren wir sie und fügen Sie sie
‫ein.
‫Also zufälliges Speichern der Daten, Aufteilen der Daten, Instanziieren des zufälligen Waldklassifizierers.
‫Jetzt glaube ich, ja, eine Schätzung ist standardmäßig 100.
‫Das lassen wir sowieso einfach so.
‫Passen Sie das Modell an die Trainingsdaten an.
‫Also lassen wir das schön laufen.
‫Wir haben also einen passenden Random-Forest-Klassifikator.
‫Schön und schnell.
‫Und wie, denken Sie, werden wir nun die Score-Methode anwenden?
‫Und dies ist eine kleine Fangfrage, weil wir gerade oben gesehen haben, dass sie tatsächlich aus der Zelle stammt, in die
‫wir das alles kopiert haben.
‫Also lass es uns versuchen, Cliff, mach kein Tor.
‫Und wie wäre es, wenn wir Scorer mit diesen Trainingsdaten 1 ausprobieren. 0?
‫Warum könnte es jetzt eine Punktzahl von 1 erhalten? 0 auf den Trainingsdaten, wenn wir uns übrigens den höchsten Wert für die
‫Punktzahl vorstellen, was ist das?
‫Ich schreibe das einfach explizit auf.
‫Der höchste Wert für die Score-Methode ist 1. 0, der niedrigste ist Nullpunkt Null, also 1. 0.
‫Die Standardbewertungsmethode für einen Klassifizierungsalgorithmus ist Genauigkeit.
‫Geben Sie die durchschnittliche Genauigkeit der angegebenen Testdaten und Etiketten zurück.
‫Und jetzt müssen wir dies natürlich in Prozent umrechnen, wenn wir die Genauigkeit in Prozent haben möchten.
‫Also 1. 0 ist 100-prozentige Genauigkeit.
‫Wenn dies also null Komma acht wäre, wäre dies eine Genauigkeit von 80 Prozent.
‫Warum erhält unser Modell für maschinelles Lernen zu 100 Prozent eine perfekte Punktzahl?
‫Habe ich Ihnen schon gesagt, dass Sie jedem Modell des maschinellen Lernens, das irgendwo eine perfekte Punktzahl erreicht, skeptisch gegenüberstehen sollen?
‫Wenn nicht, bedenken Sie, dass ich Ihnen damit sage, dass Sie perfekten Metriken immer skeptisch gegenüberstehen.
‫Warum erhält unser Modell einen Punkt in den Trainingsdaten?
‫Das liegt daran, dass es alle Trainingsfunktionen und alle Trainingsetiketten kennengelernt
‫hat.
‫Wenn das Modell also leistungsstark genug ist, erreicht es eine perfekte Punktzahl für die Trainingsdaten, da
‫es die Daten aufteilen kann.
‫In unserem Fall ist es binär null eins.
‫Es ist in der Lage, aus allen Extremwerten Vorhersagen zu treffen.
‫Es ist in der Lage, alle Y-Zugwerte perfekt vorherzusagen.
‫Jetzt könnte es ein anderes Szenario sein, sich an den Testtag zu erinnern.
‫Es hat die Testmuster noch nicht gesehen.
‫Wir möchten, dass unser Modell in der Lage ist, genug aus den Trainingsfunktionen und den Trainingslabels zu lernen, um Vorhersagen für zuvor noch
‫nicht gesehene Stichproben zu treffen.
‫Das ist der Kern des maschinellen Lernens, der Lernmuster und der Daten, die wir haben, um Vorhersagen zu treffen, Qualitätsvorhersagen
‫auf Daten, die wir noch nie zuvor gesehen haben.
‫Oh, die Punktzahl ist bei den unsichtbaren Daten etwas geringer.
‫Dies ist ein Trend, den Sie oft in Ihren eigenen Machine Learning-Projekten und in Forschungsarbeiten zu Machine
‫Learning überall sehen werden.
‫Die Trainingsnote ist normalerweise manchmal etwas höher als die Testnote, aber sie sollten relativ nahe
‫beieinander liegen.
‫Aber das Training wird im Allgemeinen höher sein als das Testergebnis.
‫Und wenn Sie jemals ein perfektes Testergebnis wie 100 Prozent Genauigkeit oder ähnliches erhalten, seien Sie immer skeptisch, gehen
‫Sie zurück und überprüfen Sie Ihre Daten.
‫Aber wenn wir unser Modell etwas schlechter gemacht haben und vielleicht nur fünf Schätzungen verwenden, sehen wir uns an, was hier passiert.
‫Die Zahl der Schätzung ist gleich fünf.
‫Was ist die Ausbildungsstätte?
‫Sehen Sie, wie wir eine weniger als perfekte Punktzahl erhalten?
‫Wie viele können wir pushen, um perfekt zu werden?
‫Na, bitte.
‫Es braucht nur 10.
‫Das ist die Macht eines Ensemble-Algorithmus.
‫Was ist, wenn wir nur zwei verwenden?
‫Was bekommt es?
‫Immer noch 90 Prozent mit nur zwei, aber wie funktioniert das?
‫Sehen Sie, wir bekommen eine viel schlechtere Punktzahl, also ist das der Ensemble-Algorithmus.
‫Kurz gesagt, der Random Forest ist einer der leistungsstärksten und schnellsten Ensemble-Algorithmen, daher verwenden wir
‫hier 10, um eine perfekte Punktzahl für die Trainingsdaten zu erhalten.
‫Was wäre, wenn wir es auf vielleicht 500 erhöhen würden?
‫Können wir die Testpunktzahl nach oben treiben?
‫Wir bekommen nicht wirklich viel von einem höheren Testergebnis, selbst wenn wir vielleicht tausend verwenden.
‫Sie sagen, wie Sie mit Machine-Learning-Modellen verschiedene Dinge optimieren können.
‫Das ist der lustige Teil daran, oder?
‫Verbessert verschiedene Dinge und erzielt unterschiedliche Ergebnisse.
‫Jetzt drängen wir nach vorne.
‫Wir haben die Schulmethode für Klassifikatoren gesehen.
‫Denken Sie daran, dass die Standard-Score-Bewertungsmetrik in Klassifizierungsmodellen und Socket-Linien die Genauigkeit ist, die Sie in der
‫Dock-Zeichenfolge feststellen können.
‫Machen wir dasselbe.
‫Lassen Sie uns die Score-Methode für unser Regressionsproblem verwenden.
‫So.
‫Das überlasse ich dir.
‫Ich möchte, dass Sie dies replizieren, aber für einen Regressionsdatensatz und die Verwendung eines Regressionsalgorithmus und zum Testen der Bewertungsmethode gebe
‫ich Ihnen einen Hinweis, dass wir dies bereits getan haben.
‫Aber ich möchte, dass Sie versuchen, es dieses Mal selbst aufzuschreiben.
‫Machen Sie die gleiche Einrichtung, Einrichtung.
‫Machen Sie die Daten, teilen Sie die Daten auf.
‫Passen Sie das Modell an das Modell an.
‫Bewerte das Modell.
‫Wir sehen uns im nächsten Video.