‫Jetzt haben wir die Hyperparameter unseres logistischen Regressionsmodells gesehen, und es erhält hier
‫eine ziemlich gute Punktzahl, aber denken Sie daran, dass die Standardbewertung für einen Klassifikator Genauigkeit ist.
‫Was wir jetzt tun möchten, ist, einige Bewertungsmetriken rund um unser Modell zu erstellen, die ein wenig über die
‫Genauigkeit hinausgehen.
‫Genauer gesagt, erstellen wir unser abgestimmtes Machine-Learning-Modell, eigentlich Machine-Learning-Klassifikatoren für ein besseres.
‫Diese Bewertungsmetriken sind spezifisch für die Klassifizierung, daher gehen wir über die Genauigkeit hinaus.
‫Genauer gesagt wollen wir also eine RSI-Kurve und ein U. S. Ergebnis.
‫Wir wollen auch eine Verwirrungsmatrix, in die Fehler eingefügt werden, die tatsächlich so aussahen, als wäre sie aus der Matrix mit
‫vielen Zahlen.
‫Wissen Sie, dieser fließende grüne Bildschirm, sie wollen einen Klassifizierungsbericht.
‫Was wollen wir noch?
‫Wir wollen Präzisionserinnerung und F1-Score, und das wäre großartig.
‫Und es wäre toll, wenn nach Möglichkeit Kreuzvalidierung verwendet würde.
‫Lassen Sie uns das also in Abschläge umwandeln.
‫Daran werden wir arbeiten, wir verwenden unsere altmodische Gittersuche, das logistische Regressionsmodell
‫sowie die beste Art von Parametern dafür.
‫Und wir werden gleich sehen, wo sie ins Spiel kommen.
‫Wenn wir also ein Modell auswerten, vergleichen wir zunächst immer den Vergleich der Vorhersagen
‫eines trainierten Modells mit den Wahrheitslabels.
‫Was wir also tun müssen, ist zuerst einige Vorhersagen zu machen, damit wir sie mit den Wahrheitsetiketten vergleichen können, a. k. A.
‫die Beschriftungen im Warum-Test-Dataset.
‫Also machen wir das.
‫Alles klar, hier eine Anmerkung, um Vergleiche anzustellen und unser trainiertes Modell zu bewerten.
‫Zuerst müssen wir Vorhersagen treffen.
‫Was wir also tun werden, ist Vorhersagen mit einem abgestimmten Modell zu machen, und es gibt eine schöne Funktion namens vorhersagen,
‫die wir dafür verwenden können.
‫Wir verwenden G. S. Log Regg, das ist nur unsere Zugversion unseres Rastersuchmodells Segers Log.
‫Regg, sag nicht vorher.
‫Und wir werden anhand der Testdaten vorhersagen, warum.
‫Wunderbar.
‫Und lassen Sie uns sie sehen, nur um sicherzustellen, dass wir nicht verrückt werden.
‫Und jetzt müssen wir sie mit dem Testdatensatz vergleichen.
‫Also schauen wir uns das hier an.
‫Okay, wenn wir also auf null null gehen wollten, können wir wissen, dass dieser hier falsch ist.
‫Soll das dort eine Null sein?
‫Denn dies sind die Wahrheitsetiketten und dann könnten wir dort weitermachen, aber das werden wir nicht
‫tun.
‫Wir wollen etwas Code verwenden, um das zu tun.
‫Als erstes wollen wir die Kurve rocken, denn denken Sie daran, dass wir diese kleine Liste haben,
‫die Aufwärtskurve und die AUC-Schule.
‫Hmm.
‫Was ist eine Felskurve?
‫Nun, wenn wir nach oben schauen und was ist eine Felskurve.
‫Wir haben diesen Prozess des Verstehens von A durchlaufen. S. Rockhead, also wenn wir das durchlesen würden.
‫Was wir erhalten würden, ist, dass das Gestein erzeugt wird, indem die True-Positive-Rate gegen die False-Positive-Rate bei
‫verschiedenen Schwellenwerteinstellungen aufgetragen wird.
‫Okay, schön.
‫Sehen wir uns also an, wie wir das machen. Die Felskurve ist eine Möglichkeit, die Leistung Ihres Modells zu verstehen,
‫indem die wahre positive Rate mit der falschen positiven Rate verglichen wird.
‫Richtig.
‫Und wenn wir herausfinden möchten, was ein wahrer positiver und ein falscher positiver Zustand ist, können wir uns
‫dafür unsere Verwirrungsmatrix ansehen.
‫Ein richtig positives Modell sagt also eins voraus, wenn die Wahrheit eins ist, und ein falsch positives Modell sagt nur eins voraus, wenn
‫die Wahrheit null sein soll.
‫Und ein perfektes Modell wird ins Auge fallen, Sie sehen Schule, was wir in einer Sekunde von 1 sehen. 0.
‫Mal sehen, wie wir es machen.
‫Importieren Sie also die RISC-Kurvenfunktion von Escalon, Punktmatrix.
‫Von dort ist es.
‫Dort lebt es.
‫Aber das haben wir eigentlich schon gemacht, wie bei allen anderen Skyland-Funktionen, die wir ganz oben
‫eingesetzt haben.
‫Gleich wieder hier oben.
‫Dies sind die Modellbewertungen jetzt in diesem nächsten Abschnitt.
‫In diesem nächsten Video werden wir alles von hier aus in Angriff nehmen.
‫Hier sehen wir also, dass wir den Randomizer einer Rastersuche haben, eine Konfusionsmatrix-Plotkurve, die wir im
‫Begriff sind, Präzisionsschuldatensätze zu verwenden, Schule, EF1, Schule.
‫Diese sind also für unser Klassifizierungsmodell.
‫Also gehen wir runter.
‫Wir können uns eine Codezeile sparen, die müssen wir nicht wirklich importieren.
‫Wir kommen gleich wieder hier runter, wir können einfach die Roc-Kurve zeichnen.
‫Nun, dies ist eine relativ neue Ergänzung zu dieser Bibliothek der zweiten Zeile, mit der ich sehr, sehr
‫zufrieden bin, da Sie diese normalerweise auf Ihre eigene Dysfunktion schreiben mussten, diese Plotkurve, und berechnen, dass sie tatsächlich das
‫U berechnet. S. Metrik für uns.
‫Sehen wir uns die Fläche unter der Kurvenmetrik in Aktion an und zeichnen dann die Kurve.
‫G. S. Law, Greg, und wenn wir dies in der Dokumentation nachschlagen und uns sagen, was es tut, parsad,
‫eine Schätzung davon ist unser Modell für maschinelles Lernen bei X Prozent Y-Plot-Empfänger-Betriebscharakteristik, a.
‫k. A. Roc-Kurve.
‫Das ist es, was das für uns tun wird.
‫Schöne Dinge wie Wragg X Test und wir wollten es mit dem Testdatensatz machen.
‫Bewerten Sie immer.
‫Das sollte kalkuliert werden, wertet eure Machine-Learning-Modelle immer im Testdatensatz aus und mal sehen.
‫Ach schön.
‫Okay, also erinnere dich an eine perfekte Kurve, die wir in früheren Videos gesehen haben.
‫Wir sind bis zu dieser Kurve hochgekommen und dann so rübergekommen, aber Elstein ist ziemlich gut oben und wir bekommen einen Bereich unter
‫der Kurve.
‫Wenn wir also all diesen Bereich unter hier von null Komma neun drei berechnen, wird ein perfektes Modell natürlich
‫1 erreichen. 0 als unser Modell.
‫Nicht perfekt, aber es ist ein Act-Score von null Komma neun drei, wenn der Durchschnitt gerade ist.
‫Eine Münze zu werfen wäre im Wesentlichen null Komma fünf, also nähern wir uns einem perfekten Modell, nicht schlecht für
‫ein Modell, das gerade aus der Box kommt.
‫Gut.
‫Das nächste, was wir tun wollen.
‫Es ist eine Verwirrungsmatrix, also sagen wir die Verwirrungsmatrix, wie könnten wir das tun?
‫Also ich denke, line hat eine Funktion und ich glaube nicht, dass ich Socket kenne.
‫Es hat eine Funktion.
‫Wir können Verwirrung, Matrix und wir wollen die Bodentruppen-Level mit den vorhergesagten Levels vergleichen.
‫Okay, ich könnte es einfach so belassen.
‫Das ist ein bisschen langweilig.
‫Wir können die Visualisierung dieser Konfusionsmatrix mithilfe von verbessern.
‫Seabourne, das ist es, was Sie wollen.
‫Also wollen wir gehen.
‫Ich glaube, wir haben Seabourne bereits hier.
‫Ja, ich mache S. A. S. , ja, das tun wir.
‫Also haben wir Sie in diesem Projekt schon einmal Seabourne, damit wir gehen können.
‫Was ich tun könnte, ist, dass ich im Voraus weiß, dass wir eine größere Schriftgröße brauchen.
‫Die Schriftgröße beträgt eins Komma fünf.
‫Das ist einfach nicht eingestellt.
‫Und wir werden hier eine kleine Funktion erstellen, falls wir eine weitere Verwirrungsmatrix erstellen
‫wollten, da die Verwirrungsmatrixfunktion von Cyclone nicht auf dem neuesten Stand ist, da dies zum Erstellen dieses Videos immer eine
‫Gelegenheit für einen Pull-Request sein könnte.
‫Also gehen wir hierher.
‫Schön und einfach, also posten wir nur diesen Funktionstest.
‫Labels und unsere vorhergesagten Labels, und dann werden wir schöne Plots erstellen,
‫eine gut aussehende Verwirrungsmatrix mit Seaboards, wir haben dies vor der Heightmap gesehen.
‫Wunderbar.
‫Wir haben also ein großes X gleich T-Punkt-Subplots, eine große Größe gleich drei drei o Schaltende, um glücklich wieder auszulösen.
‫X gleich einer finsteren Heatmap.
‫Wunderbar.
‫Wir werden die Verwirrungsmatrix der psychischen Linienfunktionsstelle postulieren.
‫Warum testen.
‫Warum Freds.
‫Und dann wollen wir hier hinzufügen und nicht so kommentieren, ja bitte, kommentieren ist gleich wahr.
‫Und wir gehen in die Bar, weil wir nicht nach Colaba wollen, weil ich die Taliban gesehen
‫habe, es sieht nicht so toll aus auf einer Verwechslungsmatrix x Strafe nicht ex-Label.
‫Zuverlässig.
‫Und dann werden wir warum haftbar machen, werden vorhergesagte Verleumdung gehen und sehen wir es uns an.
‫Wir haben also eine Menge mathematischer Verwirrung.
‫Matrixx, warum testen?
‫Warum Paraden?
‫Oh, was haben wir gemacht, Schriftgröße?
‫Dieser Sack Fonzi ist falsch.
‫Was ist diese O-Skala?
‫Hey, wir haben Tab.
‫Wofür ich es spielen kann, ist klassisch und es gibt uns dieses kleine abgeschnittene Ding
‫hier, damit wir das, glaube ich, beheben können, indem wir oben ankommen, weil x nicht verstehen, warum limn.
‫Ja.
‫Und dann wollen wir X-Punkt-Set Wiliam gehen.
‫Machen Sie es ein bisschen hübsch, Whilom, und es wird unten letztes Komma fünf oben minus null Komma fünf sein.
‫Natürlich, wenn Sie verwirrt sind, Matrix sah gut aus, Sie brauchen diese Zeilen vielleicht nicht, aber
‫das spielt keine Rolle.
‫Na, bitte.
‫Wir könnten ein bisschen besser aussehen.
‫Sie können also sehen, dass das Modell verwirrt wird.
‫Prognostiziert also das falsche Etikett in beiden Klassen relativ gleich.
‫Im Wesentlichen gibt es hier vier Fälle, in denen das Modell null vorhergesagt hat.
‫Das vorhergesagte Etikett sagte also voraus, dass jemand keine Herzkrankheit hat, obwohl er als solcher hätte vorhergesagt
‫werden sollen.
‫Das ist also falsch negativ.
‫Es sagt also null statt eins voraus, ein falsch negatives.
‫Denken Sie daran, dass das falsch-negative Modell null vorhersagt, wenn die Wahrheit gewonnen ist.
‫Und hier drüben sind die False Positives.
‫Also, okay, wir haben hier drei Fälle, in denen ein Modell vorhersagt, dass jemand eine Herzkrankheit hat, obwohl dies
‫tatsächlich nicht der Fall ist.
‫Und Sie sehen, das sind beides Dinge, die wir vermeiden wollen.
‫Richtig.
‫Vor allem, wenn man an etwas so Schweres oder so Ernstes wie eine Herzkrankheit denkt, sogar vorherzusagen, wenn es
‫nicht vorhanden ist.
‫Also hier, wenn wir Null vorhersagen, also keine Krankheit, wenn sie vorhanden ist.
‫Okay, das ist schlecht.
‫Aber auch vorherzusagen, dass es da ist, wenn es nicht wirklich da ist, das ist auch schlecht.
‫Das sollten Sie also berücksichtigen, wenn Sie diese Art von Modellen erstellen.
‫Ist falsch negativ schlimmer oder falsch positiv schlimmer?
‫Und auch hier hätte ein perfektes Modell nichts davon.
‫Aber in Wirklichkeit werden Sie hier wahrscheinlich eine Art Verwirrung mit Ihrem Modell haben.
‫Sie werden nicht ideal sein, diese wären hier auf der anderen Seite perfekt.
‫Jetzt haben wir eine Verwirrungsmatrix erstellt.
‫Das haben wir da.
‫Das könnten wir mit unserem Chef teilen.
‫Das könnten wir mit unserem Boss-Rocker dort teilen.
‫Was kommt als nächstes?
‫Klassifizierungsbericht?
‫OK, und es wäre großartig, wenn nach Möglichkeit eine Kreuzvalidierung verwendet würde.
‫Okay, damit könnten wir uns im nächsten Video befassen.