‫Wunderbar.
‫Wir haben gesehen, wie wir schnell einen Eindruck davon bekommen, wie unsere Machine-Learning-Modelle funktionieren,
‫und sie mithilfe der Score-Methode bewerten. Dies gibt eine Standardbewertungsmetrik zurück, abhängig von
‫dem Problem, an dem wir in der Regression arbeiten, seinen Renditen, der Bestimmtheitsmaß und Klassifikation gibt es die
‫Hauptgenauigkeit zurück.
‫Wenn Sie sich jedoch einem Problem nähern, möchten Sie wahrscheinlich einige leistungsfähigere Metriken verwenden, um die
‫Leistung Ihres Modells zu bewerten.
‫Der nächste Schritt nach der Verwendung von Scores besteht also darin, einen benutzerdefinierten Bewertungsparameter zu verwenden.
‫Wenn wir also hier sehen, haben wir uns diese eine Schätzung, eine Bewertungsmethode,
‫angesehen, und jetzt werden wir uns die Verwendung eines Bewertungsparameters, Modellbewertungstools, Kreuzvalidierung ansehen, oder wir müssen möglicherweise sehen, was
‫das ist.
‫Tauchen wir also ein.
‫Was wir tun werden, ist, das herauszufinden.
‫Jetzt müssen Sie die nächsten Videos mit mir ertragen, denn wir werden hier einiges behandeln.
‫Der Grund dafür ist, dass die Bewertung eines Modells für maschinelles Lernen ein so wichtiger Schritt ist.
‫Es ist eine Sache, eine Anpassungsfunktion für einige Daten aufzurufen, aber die nächste wichtige Sache ist,
‫hey, funktioniert das Modell tatsächlich?
‫Lernt es etwas?
‫Könnten wir das nutzen, um die Zukunft vorherzusagen?
‫Und deshalb stellen wir sicher, dass wir hier viel Boden abdecken.
‫Also lasst uns anfangen.
‫Was wir tun werden, ist, von Escalon aus zu gehen, keine Modellauswahl vorzunehmen, den Crosswell-Score zu importieren.
‫Und wie immer führen wir zuerst den Code aus, bevor wir uns damit befassen, was tatsächlich vor sich geht.
‫Und was wir brauchen, ist ein Klassifizierungscode.
‫Also, was wir tun werden, wir können das kopieren.
‫Das darfst du übrigens kopieren, weil wir jetzt schon ein paar mal reingeschrieben haben.
‫Der einzige Unterschied zu dem, was wir hier gemacht haben, ist, dass wir den Crossville-Score aus der Modellauswahl von Saikat-Kreditmodellen
‫importiert haben.
‫Nun, das nächste, was wir tun werden, weil wir dort fit aufgerufen haben, wollen ein kleines Semikolon einfügen,
‫damit wir keine große Ausgabe erhalten.
‫Weißt du was?
‫Diese Warnung wird immer wieder angezeigt, also können wir das einfach ändern und auf 100 schätzen.
‫Wunderbar.
‫Und so Crossville-Score, es steckt das Wort Score drin, aber wir haben gesehen, was dieser Crossville macht?
‫Sehen wir uns mal unsere Punktzahl an.
‫Wir werden zuerst die Testdaten machen, damit wir vergleichen können, und dann machen wir dasselbe.
‫Aber dieses Mal verwendet Crossville Score, Crossville Score und Crossville Score unseren Klassifikator.
‫Es nimmt X-Daten und es nimmt die Y-Daten, nicht den Test.
‫Und nicht der Zug.
‫Wir werden gleich sehen, was los ist.
‫Oh, was hier und da passiert, wir bekommen eine weitere Warnung, dies ist nur um zu sagen, dass
‫der Standardwert von C. V ändert sich von drei auf fünf.
‫Wenn wir uns also diese Umschaltregisterkarte ansehen.
‫Lassen Sie uns die Lehre lesen, eine Punktzahl durch Kreuzvalidierung bewerten, was sogar Kreuzvalidierung ist, und
‫so C. V wird uns eine Warnung geben.
‫Von hier kommt diese Warnung.
‫Wenn wir dies von C. V Eagles' ist der Standardwert drei.
‫Wenn wir es auf fünf ändern, wird diese Warnung verschwinden und wir erhalten dann eine Reihe von
‫fünf verschiedenen Scores zurück.
‫Hmm.
‫Das ist wahrscheinlich der erste Unterschied, den Sie bemerken werden.
‫Crossville-Score gibt ein Array zurück, während score nur eine einzelne Zahl zurückgibt.
‫Okay, wie können wir das herausfinden?
‫Wir müssen herausfinden, was Kreuzvalidierung ist, denn das ist schließlich das, was Crossville Score
‫tut, zurück in den Dock-String.
‫Bewerten Sie eine Punktzahl durch Kreuzvalidierung unglücklich.
‫Hier ist etwas, das ich zuvor vorbereitet habe, um es zu demonstrieren, und wie immer verstehe ich die Dinge visuell besser.
‫Sie können dasselbe tun, um zu demonstrieren, was die Kreuzvalidierung bewirkt.
‫Also, was wir zuvor in unserer normalen Trainingstestschiene gemacht haben, also haben wir unsere Daten in das Training aufgeteilt, damit dies
‫ein Aufenthalt sein könnte.
‫Wir begannen mit 100 Patientenakten.
‫Wir würden es in einen Trainingssplit aufteilen.
‫In unserem Fall haben wir 80 Prozent verwendet und dies würde X-Zug und Y-Zug 80 Samples enthalten.
‫Und ich habe hier die Zahl 100 verwendet.
‫Wir haben wirklich mehr als das.
‫Das liegt aber nur daran, dass die Zahlen hier optisch besser wirken.
‫Und in unserem Testdatensatz haben wir 20 Prozent der Daten, die X-Test und Y-Test enthalten würden.
‫Nun, der Unterschied hier zur Kreuzvalidierung und in unserem Fall zeigt dieses Bild hier die
‫fünffache Kreuzvalidierung.
‫Worauf Sie sich wahrscheinlich bei der Kreuzvalidierung beziehen, ist die K-Faltung, wobei K eine beliebige Zahl ist.
‫Und der Grund, warum wir fünf verwenden, ist, dass wir hierher zurückgekommen sind.
‫C. V ist dort gleich fünf.
‫Das steht also für Kreuzvalidierung.
‫Und genau darüber spreche ich, indem wir unsere Daten in Training und Test aufteilen, wobei 20 Prozent für die Test-Site
‫verwendet werden.
‫Das bedeutet natürlich, dass die anderen 80 Prozent in die Trainingsdaten gehen, woher diese kleine Aufteilung
‫hier kommt.
‫Die Kreuzvalidierung führt nun fünf verschiedene Aufteilungen durch, sodass die ersten 20 Prozent verwendet werden.
‫Sie sehen also, wie hier die letzte Tabelle verwendet wird, hier 20 Prozent.
‫Daher wird hier ein Testdatensatz und hier ein Trainingsdatensatz erstellt.
‫Dann gehe ich hierher und verwende dies als Testdatensatz und dann noch einmal.
‫Und immer wieder.
‫Was also passiert, ist, dass die Kreuzvalidierung fünf verschiedene Versionen des Modells trainiert und dann bewertet,
‫dass diese Modelle mit den einzelnen Trainingsdaten auf fünf verschiedenen Versionen der Testdaten trainiert wurden.
‫Was ist also der Zweck davon?
‫Nun, wie Sie sich vorstellen können, könnte es eine glückliche Aufteilung sein, wenn wir nur ein Modell trainieren, sagen wir, 80
‫Prozent der Zeilen, die eine ganze Reihe von Informationen im Modell enthielten, konnten wirklich
‫gut lernen in diesen achtzig Zeilen, in diesen 80 Patientenakten.
‫Und dann hat es auf diesem Testset eine wirklich gute Note bekommen.
‫Spiegelt dies wirklich wider, wie unser Modell die Daten verstehen oder die Muster in den Daten erkennen
‫würde?
‫Nun, nicht wirklich richtig.
‫Weil es nur Glück ist, oder?
‫Wenn wir das nur nach dem Zufallsprinzip aufteilen und irgendwie ein Haufen einfacher Patientenakten hierher gelangt sind und die Modelle
‫bestimmte Muster herausgefunden haben und es hierher übergegangen ist.
‫Dieser Testdatensatz und erzielte eine erstaunliche Punktzahl.
‫Wir könnten uns selbst betrügen.
‫Wir könnten uns selbst vormachen, dass unser Modell viel besser ist, als es tatsächlich ist.
‫Hier kommt also die Kreuzvalidierung ins Spiel.
‫Es zielt darauf ab, eine Lösung zu bieten, um nicht mit allen Daten zu trainieren und zu vermeiden, dass diese glücklichen
‫Ergebnisse nur mit einer einzigen Datenaufteilung erzielt werden, sodass fünf verschiedene Aufteilungen erstellt werden.
‫Egal was passiert, unser Modell wird mit allen Daten trainiert und mit allen Daten
‫ausgewertet.
‫Und deshalb kommen wir zurück.
‫Um den Crosswell-Score zu sehen, gibt es hier fünf verschiedene Scores zurück.
‫Oh, das macht also langsam Sinn, wenn wir den Score-Parameter nur für unsere Testdaten aufrufen.
‫Und jetzt, warum Testdaten eine Schule zurückgeben werden.
‫Aber wenn wir Crossville-Score nennen, weil wir uns hier auf die Grafik beziehen, werden fünf verschiedene
‫Aufteilungen vorgenommen.
‫Und denken Sie daran, Fünffach ist nur eine willkürliche Zahl.
‫Du könntest das Zehnfache machen, du könntest das Dreifache tun.
‫Sie könnten sogar ein 100-fach machen.
‫Aber fünffach ist die Standardeinstellung der Bibliothek.
‫Es ist normalerweise ziemlich gut, abhängig von der Größe Ihrer Daten.
‫Also verwenden wir Five-fold, um es hier zu demonstrieren.
‫Um es Ihnen zu beweisen, können wir hier in die Crosswell School gehen und 10 machen.
‫Das bedeutet also, dass es nur zehn verschiedene Aufteilungen machen wird, genau so wie hier.
‫Und dann 10 verschiedene Punkte zurückgeben.
‫Sie sagen also hier, dies ist ein großartiges Beispiel für Split eins, es muss Punkt neun erreichen.
‫Das könnten also 90 Prozent sein, was hier höher ist.
‫Aber bei einem leichteren Split ist es etwas viel niedriger, 72.
‫Was wir hier also tun, ist, eine idealere Leistungsmetrik oder Bewertungsmetrik für unser Modell zu ermitteln,
‫indem wir den Durchschnitt dieser fünf Bewertungen nehmen.
‫Mal sehen, wie es passiert.
‫Wir machen alles in einer Zelle, zufälliger Seed.
‫Und was wir tun werden, ist ein einziges Trainings- und Testergebnis zu erhalten.
‫Ich werde sicherstellen, dass ich eine einzelne Punktzahl sehe, und nachsehen, dass ich den Schul-X-Test verlassen habe.
‫Hier werden dieselben Daten verwendet.
‫Warum testen?
‫Wunderbar.
‫Und dann werden wir die Mane of Five-Cross-Validation-Schule besuchen.
‫Selbst Cross School entspricht ENPI main, dann brauchen wir Cross School X, oh nein, wir müssen es bestehen.
‫Unser Klassifikator X, Y und wir verwenden CV gleich fünf und dann.
‫Vergleichen Sie die beiden.
‫Also werden wir eine Live-Single sehen.
‫Punkte und dann Silver Cross Valley Punkte.
‫Was sehen wir hier also?
‫Nun, in unserem Fall.
‫Unsere ursprüngliche Einzelpunktzahl, die jetzt hier unten ist, ist genau dieselbe Zahl, weil
‫wir einen zufälligen Startwert verwenden und dieselben Testdaten verwenden, unsere Einzelpunktzahl beträgt null Komma acht fünf.
‫Aber wenn wir Kreuzvalidierung verwenden, wenn wir fünf Splits verwenden, weil S. V. gleich fünf, erhalten wir eine Punktzahl
‫von acht zwei.
‫Es ist also etwas niedriger.
‫Wenn Sie jedoch in diesem Fall aufgefordert werden, die Genauigkeit Ihres Modells anzugeben, obwohl diese
‫niedriger ist, bevorzugen Sie die Metrik der Kreuzvalidierung gegenüber der Metrik ohne Kreuzvalidierung.
‫Warten Sie jetzt, wir haben den Bewertungsparameter noch nicht einmal verwendet.
‫Das liegt daran, dass es standardmäßig auf none gesetzt ist.
‫Sehen wir uns den Scoring-Parameter an, der auf none gesetzt ist.
‫Standardmäßig ist es ein Rekord für Sealife der Crossville-Schule, x, y Lebenslauf, wir können die Bewertung hier bestehen und es wird niemandem
‫gesagt.
‫Also, wenn wir das ändern, woher weiß ich das?
‫Nun, zum Glück ist die Doktorarbeit praktisch.
‫C ist standardmäßig auf none gesetzt.
‫Also, wenn wir weiter nach unten scrollen.
‫Vielleicht unser Notebook, also Scoring-String aufrufbar auf none, optional default, none.
‫Oh, OK, eine Zeichenfolge siehe Dokumentation zur Modellbewertung.
‫Das mussten wir hier nachschlagen.
‫Oder eine globale Sakurako-Objektfunktion mit einer Signaturbewertung, einer Schätzung von x
‫Y, die nur einen einzelnen Wert zurückgeben sollte, wenn keiner, die Schätzung ist der Standard-Scorer, falls verfügbar.
‫Okay.
‫Aus diesem Grund wissen wir, dass dies Genauigkeit ist, denn wenn der
‫Bewertungsparameter des Crossville-Scores keiner ist, wird in unserem Fall der Standardbewertungsparameter unserer Schätzung verwendet.
‫Was ist es?
‫Der Fehlerbewertungsparameter der mittleren Genauigkeit der Klassifizierer und wo haben wir das vorher gesehen?
‫Wir haben das im letzten Video gesehen, als wir die Schule abgebrochen haben und auf die Umschalttaste gedrückt haben, um die Genauigkeit der Geben- und Testdaten
‫und des Etiketts zu bedeuten.
‫Das heißt, wenn wir die Bewertung auf "Keine" gesetzt haben, wird die Standardbewertungsmetrik für
‫die Kreuzvalidierung unseres Klassifikators verwendet.
‫Also, wenn wir die Umschalttaste drücken und eingeben.
‫Gibt die gleichen Werte zurück oder kann etwas anders sein, richtig, weil wir keinen Platz in
‫dieser Zelle eingerichtet haben.
‫Diese Werte werden sich also von denen der Crossville-Schule unterscheiden, die wir da draußen sehen.
‫Hätten wir es hier einfließen lassen, hätten wir ähnliche Werte gesehen.
‫Was haben wir hier behandelt?
‫Nun, wie Sie vielleicht erraten haben, kann der Bewertungsparameter geändert werden, richtig, also können wir, wie
‫der Shrink sagt, unseren eigenen Bewertungsparameter hier importieren.
‫Wir können dies in etwas anderes als nichts ändern.
‫Das ist es, was wir beginnen werden, und wir werden
‫uns in den nächsten Videos einige andere Bewertungsmetriken für Klassifizierungsmodelle ansehen, die wir bei der Kreuzvalidierung verwenden können.
‫Und warum verwenden wir die Kreuzvalidierung?
‫Nun, wie wir gesehen haben.
‫Im Bild zielt die Kreuzvalidierung darauf ab, das Problem zu lösen, dass nicht mit allen Daten trainiert wird, oder?
‫Wir erstellen also fünf Modelle und haben am Ende ein Modell, das mit allen Daten trainiert wird und
‫keine Glückspunkte erhält.
‫Also trainierte ich mit einem einzelnen Split und wir sahen das in Aktion.
‫Da unsere einzelne Split-Punktzahl hier eine etwas höhere Punktzahl als unsere Kreuzvalidierungspunktzahl erreicht.
‫Nun, das ist jetzt Gesetz.
‫Wir haben noch ein bisschen vor uns.
‫Lassen Sie uns einige eingehende Klassifizierungsmetriken durchführen.
‫Wir sehen uns im nächsten Video.