‫Die letzte Bewertungsmetrik des Klassifizierungsmodells, die wir uns ansehen werden, ist ein
‫Klassifizierungsbericht, und jetzt ist ein Klassifizierungsbericht auch eine Sammlung verschiedener Bewertungsmetriken und nicht ein
‫einzelner.
‫Daher kommt der Bericht.
‫Es ist eine Art Bericht über eine Reihe verschiedener Parameter, die unser Klassifizierungsmodell bewerten.
‫Lassen Sie uns einen in Aktion sehen, also von einer Art Matrix-Import-Klassifizierungsbericht aus eské.
‫Um dies zu tun, postulieren wir nur einige wahre Labels, OK, warum testen und einige Vorhersagen?
‫Diese Bewertungsmetrik vergleicht also wieder nur die wahren Labels unserer Daten mit den Vorhersagen, die unser Modell
‫gemacht hat.
‫Schauen wir uns also an, was hier passiert.
‫Gut.
‫Die wenigen Dinge, die vor sich gehen, wir haben eine genaue Erinnerung, haben eine Schulunterstützung, null, vielleicht ist das
‫für die Klasse null vier, nicht für Herzkrankheiten eins.
‫Vielleicht ist das für Herzkrankheiten.
‫Wenn wir mit einer Genauigkeit von fünfundsiebzig Makro-Durchschnitt kommen.
‫Gewichteter Durchschnitt.
‫Hmm.
‫Was ist hier los?
‫Nun, gehen wir zu unserem Keano, werfen wir einen Blick auf unsere Anatomie des Klassifizierungsberichts.
‫Hier drüben sehen wir, dass Sie dasselbe haben, nur den Klassifizierungsbericht importieren.
‫Wir haben eine auf den Testetiketten und den Vorhersagen gemacht.
‫Einige etwas andere Zahlen hier.
‫Was steht in unserem Notizbuch?
‫Aber das ist in Ordnung.
‫Also, was Präzision oder Präzision ist, gibt den Anteil der positiven Identifizierungen an, also a. k. A. das Modell
‫prognostizierte Klasse Eins, was tatsächlich richtig war.
‫Jetzt ein Modell, das mit einer Genauigkeit von eins keine Fehlalarme produziert.
‫Das ist, was wir sehen können, unsere Präzision punktet, wenn das Modell keine falsch positiven Ergebnisse liefert.
‫Und wir wissen, dass dies bei unserem Modell nicht der Fall ist, weil wir uns die Klassifizierung der
‫Verwirrungsmatrix angesehen haben und sie bei einigen Beispielen verwirrt und als falsch positiv vorhergesagt wurden.
‫Unsere Präzisionswerte sind also etwas niedriger als eins.
‫Jetzt ist der nächste Rückruf.
‫Der Rückruf gibt also den Anteil der tatsächlich positiven Ergebnisse an, die richtig klassifiziert wurden.
‫Nun hat ein Modell, das keine falsch-negativen Ergebnisse produziert, eine Erinnerung von eins Komma null.
‫Und wieder wissen wir aus unserer Verwirrungsmatrix, dass dies nicht der Fall ist.
‫Daher ist unser Rückruf etwas geringer.
‫Jetzt erreicht der F1-Score eine Kombination aus Präzision und Recall, ein perfektes Modell erreicht einen F1-Score von einem Punkt
‫Null.
‫Okay, wenn wir also sehen, dass unser F1-Score nicht ein Punkt Null ist, ist er aber immer noch relativ hoch, wenn wir zum
‫Support gehen.
‫Die Anzahl der Stichproben, für die jede Metrik berechnet wurde, sehen wir hier.
‫Das heißt, wir schauen uns diese 29 an, also schauen wir uns das an, das ist vier Null hier unten bei 61.
‫Das bedeutet, dass diese Metriken hier an 61 verschiedenen Stichproben berechnet wurden.
‫Und diese Metriken hier wurden an 29 Proben berechnet, die die Klassenbezeichnung Null hatten, und diese
‫ist 32 mit der Klassenbezeichnung Eins AK hat Herzkrankheit.
‫Wenn Sie also neunundzwanzig plus 32 zusammenzählen, erhalten Sie 61, wissen Sie, Genauigkeit.
‫Das haben wir schon gesehen.
‫Dies ist nur die Genauigkeit des Modells in Dezimalform, die perfekte Genauigkeit ist 1. 0, ein. k. A. Unser Modell
‫macht Vorhersagen zu 100 Prozent richtig.
‫Wenn die Genauigkeit 1 ist. 0, dann schauen wir uns den Makrodurchschnitt an.
‫Nun, was ist die Abkürzung für Makrodurchschnitt, wie Sie vielleicht erraten haben.
‫Es handelt sich also um die durchschnittliche Präzisionserinnerung und die F1-Werte zwischen den Klassen.
‫Der Schlüssel hier ist, dass der Makrodurchschnitt die Klasse nicht berücksichtigt und das Gleichgewicht in diesem Effekt berücksichtigt werden sollte.
‫Also tun Sie so, als wäre dies ein Konto.
‫Wenn Sie also Klassenungleichgewichte haben, achten Sie auf diese Metrik.
‫OK, also in unserem Fall, was bedeutet das Klassenungleichgewicht?
‫Nun, wenn Sie sich unser Beispiel ansehen, haben wir hier keine Klassenungleichgewichte.
‫Warum ist das so?
‫Nun, weil wir relativ die gleiche Anzahl von Samples mit Class Zero und Class One haben, was bedeutet, dass wir hier
‫ungefähr 50/50 aufgeteilt haben.
‫Es ist nicht genau 50/50, aber es ist nicht so, dass wir 60 Beispiele für Klasse Eins und ein Beispiel für Klasse Null
‫haben.
‫Wir haben also ungefähr 30 in jedem.
‫Wenn Sie also Klassenungleichgewichte hatten, möchten Sie jetzt wirklich Ihren Makrodurchschnitt überprüfen?
‫Denn in unserem Beispiel sind die Klassen relativ ausgewogen.
‫Aus diesem Grund ist der Makrodurchschnitt und der gewichtete durchschnittliche Shortfall-gewichtete Durchschnitt des gewichteten Durchschnitts eine Präzisionserinnerung und
‫der F1-Score zwischen den gewichteten Klassen bedeutet, dass jede Metrik in Bezug auf die Anzahl der
‫Stichproben in jeder Klasse berechnet wird.
‫Diese Kennzahl wird also die Mehrheit begünstigen.
‫Eine Klasse ergibt beispielsweise einen hohen Wert, wenn eine Klasse eine andere übertrifft, weil sie mehr Stichproben hat.
‫Deshalb sind unsere Werte hier ziemlich ähnlich, denn wir haben Balance-Klassen.
‫Jetzt denken Sie vielleicht, was für eine Situation wäre es, dass diese Werte aus dem Gleichgewicht
‫geraten?
‫Rechts.
‫Wo würde das passieren?
‫Und Sie denken vielleicht auch, dass wir hier eine ganze Reihe verschiedener Metriken gelernt haben.
‫Wir kommen zurück zu unserem Notizbuch.
‫Wir haben Klassifizierungsberichte durchgesehen, wir haben Verwirrung, Matrix und Genauigkeit untersucht.
‫Wir haben die Fläche unter der ROC-Kurve bearbeitet.
‫Wann sollte ich diese jeweils verwenden?
‫So, jetzt haben wir sie irgendwie durchgearbeitet.
‫Es mag verlockend sein zu denken, nun, warum lasse ich nicht einfach all diese anderen weg,
‫die ich wirklich nicht begreifen kann, und setze einfach auf Genauigkeit?
‫Nun, nehmen wir ein Beispiel.
‫Mal sehen, wann andere Metriken ins Spiel kommen.
‫Und vielleicht sollten Sie nicht nur Genauigkeit verwenden, denn dies ist eine Falle, in die ich geraten bin.
‫Als ich anfing, Klassifikationsmodelle zu bauen, dachte ich, ja, mein Modell erreicht eine Genauigkeit von über
‫90 Prozent.
‫Es muss ein tolles Modell sein.
‫Sehen wir uns ein Szenario an.
‫Nehmen wir zum Beispiel an, es gibt 10000 Menschen und einer von ihnen hatte eine Krankheit und Sie werden gebeten, ein Modell
‫zu erstellen, um vorherzusagen, wer sie hat.
‫Gut.
‫Also lass uns das tatsächlich tun.
‫Machen wir weiter so.
‫Hier werden Präzision und Erinnerungsvermögen wertvoll.
‫Und tatsächlich werden hier alle Metriken in unserem Klassifizierungsbericht wertvoll.
‫Also Krankheit, stimmt.
‫Es waren also 10000 Menschen und einer von ihnen hatte eine Krankheit.
‫Was wir also tun könnten, ist ein Imperium von 10000 Menschen zu schaffen und dann eines davon zu ändern.
‫Ich kann Krankheit buchstabieren.
‫Es ist eine Krankheit, der nullte Index gleich eins ist, also gibt es nur einen positiven Fall.
‫Wenn wir dann hierher kommen und sagen, dass unser Modell vorhergesagt hat oder die Krankheitsausbreitung gleich 10000
‫ist, bedeutet dies, dass das Modell jeden Fall als Null vorhersagt.
‫Gut.
‫Und dann erstellen wir den Datenrahmen, damit wir diesen Klassifizierungsbericht visualisieren können. Was wäre, wenn unser Modell
‫dies tat?
‫Rechts.
‫Das ist, was hier passiert.
‫Krankheit, stimmt.
‫Es gibt also nur einen positiven Fall, einen von 10000.
‫Und wir bauen ein Modell und unser Modell sagt voraus, dass jeder einzelne Fall null ist.
‫Es verfehlt also die eine Vorhersage.
‫Was würde passieren, wenn wir eine Klassifizierung erstellen?
‫Berichte über eine schwulenkrankheit.
‫Wahr.
‫Wir sind hier angekommen.
‫Krankheit breitet sich aus.
‫Ich möchte diesen kleinen Parameter übergeben, damit er gut in einen Datenrahmen passt, damit das Ausgabedikt gleich ist.
‫So.
‫Was passiert hier?
‫Wir sehen uns das an, dies ist nur ein anderes Format dieses Klassifizierungsberichts hier oben, wenn wir dies nicht getan
‫haben.
‫Es würde ausgestrahlt, also ist dies nur um zu visualisieren, was vor sich geht.
‫Dies ist also ein Paradebeispiel dafür, wo Sie eine andere Metrik als die Genauigkeit verwenden möchten, wenn
‫Sie ein sehr großes Klassenungleichgewicht haben.
‫In unserem Fall haben wir also ein massives Klassenungleichgewicht, denn in unserem ursprünglichen Datensatz ist
‫Krankheit gleich wahr nur ein Beispiel.
‫Also nur ein Beispiel dafür, wo die Arbeit gewonnen würde und alles andere Null ist.
‫Wir haben ein Modell erstellt, das für jeden Fall null vorhersagt.
‫Richtig, weil es nur ein Sample ist.
‫Es ist wirklich schwer zu erkennen, dass es für diesen einen speziellen Fall ein Muster gibt.
‫Wenn wir also nur die Genauigkeit unseres Modells messen, das für alles null vorhergesagt wird, kommt es mit einer
‫Genauigkeit von null Komma neun neun oder mit anderen Worten 99 Prozent heraus.
‫Und so fragen Sie sich, obwohl das Modell neunundneunzig Komma neun neun Prozent Genauigkeit erreicht, ist das Modell
‫immer noch nützlich?
‫Rechts.
‫Deshalb schauen wir uns diese anderen Metriken an, wie zum Beispiel den Makrodurchschnitt, da können wir
‫sagen, OK, unsere Modelle fallen hier auf die Position herunter.
‫Für Klasse eins wird tatsächlich eine Genauigkeit von null erreicht, was sinnvoll ist, da nicht einmal Klasse eins
‫vorhergesagt wurde.
‫Und hier erreicht es im Grunde 100 Prozent auf Klasse Null, weil es nur Klasse Null vorhergesagt hat.
‫Dies ist also eine Art Anwendungsszenario, in dem Sie sicherstellen möchten, dass Sie ein breites
‫Spektrum an Bewertungsmetriken für Ihre Klassifizierungsmodelle verwenden und nicht nur die Genauigkeit.
‫Und jetzt haben wir nur einige der Metriken angesprochen, die Sie zum Bewerten eines Klassifizierungsalgorithmus verwenden können,
‫aber es gibt noch ein paar mehr.
‫Wenn Sie sich also mehr ansehen möchten, dann gehen wir hier, Modellbewertung, Saikat lernen.
‫Wir schauen uns die Dokumentation an.
‫Wenn Sie hierher kommen, ist dies ein bisschen extracurricular, um einen Blick auf diesen Abschnitt hier zu werfen.
‫Alles, was ich getan habe, ist also zur Modellbewertung in die Dokumentation zum Socket-Darlehen gegangen.
‫Wir kommen zur Klassifizierung.
‫Wir können hier einige sehen, diejenigen, die wir behandelt haben.
‫Die von uns behandelten sind also wahrscheinlich das absolute Minimum, das Sie verwenden möchten, oder?
‫Also Genauigkeitsbereich unter der Felskurve oder Sie sehen Verwechslungs-, Matrix- und Klassifizierungsbericht.
‫Bewahren Sie diese also in Ihrer Werkzeugtasche auf.
‫Und wenn Sie mehr benötigen, lesen Sie unbedingt die Dokumentation.
‫Damit sind unsere klassifikationsspezifischen Bewertungsmetriken abgeschlossen.
‫Tauchen wir in den nächsten Abschnitt ein.
‫Wir werden uns einige spezifischere Bewertungsmetriken für Regressionsmodelle ansehen.