‫Willkommen zurück, bisher haben wir einige verschiedene Möglichkeiten gesehen, ein Klassifizierungsmodell zu bewerten,
‫und erinnern uns, dass die Bewertung eines Modells für maschinelles Lernen oft Vorhersagen mit Wahrheitslabels vergleicht.
‫Kommen wir nun zu einer visuelleren Methode zur Bewertung unserer Klassifizierungsmodelle, und hier befindet
‫sich die Verwirrungsmatrix.
‫Und wenn Sie noch nie davon gehört haben, machen Sie sich keine Sorgen, wir werden viele
‫praktische Erfahrungen mit Verwirrungsmatrizen haben, wenn Sie dieses Video beenden.
‫Der nächstbeste Weg, ein Klassifikationsmodell zu bewerten, besteht also darin, hier unten eine Konfusionsmatrix zu verwenden.
‫Eine Konfusionsmatrix ist ein schneller Weg, um die Labels, die ein Modell vorhersagt, und das tatsächliche Label zu vergleichen.
‫Also die Wahrheitsetiketten.
‫Es sollte vorhersagen.
‫Im Wesentlichen gibt Ihnen dies eine Vorstellung davon, wo das Modell verwirrt ist.
‫Das ist also nur das Schreiben. Lassen Sie uns aufhören, Code zu schreiben.
‫Das Schöne an Psychic Lone ist, dass viele dieser Bewertungsmetriken und -formate und -funktionen
‫integriert sind.
‫Gehen wir also von Kaylon Dot Matrix Impart Confusion Matrix aus.
‫Und dann werden wir gehen.
‫Warum Paraden einige Vorhersagen mit unserem trainierten Klassifikator machen, wird beim X-Test vorhergesagt, und dann
‫werden wir eine Verwirrungsmatrix mit Y-Test und Y-Preds erstellen.
‫Aber bevor wir das tun, springen wir einfach in die Kaylon-Verwirrungsmatrix der Dokumentation.
‫Erinnern Sie sich einfach an die Funktion, die wir ausführen.
‫Das ist es also hier.
‫Schauen wir uns an, was die Eingänge sind.
‫Wir haben den Grund.
‫True ist der erste Parameter und dann verbreitet als zweiter Parameter.
‫Wenn wir nach unten scrollen, haben wir hier ein Beispiel.
‫So soll unser Output aussehen.
‫Also haben sie warum wahr?
‫In unserem Fall haben wir die Frage, warum wahr ist, warum testen?
‫Und sie haben, warum Fred, was in unseren Fällen so ist, nennen wir es, warum Fred ein s hat?
‫Ja, das haben wir.
‫Also kopiere ich diesen Link einfach in die Verwirrungsmatrix.
‫Und das werden wir gleich hier oben setzen.
‫Sehen Sie hier für die Skyline-Verwirrungsmatrix.
‫Okay, aber genug geredet.
‫Sehen wir es in Aktion.
‫Oh, da sind wir jetzt.
‫Im Moment bedeutet uns das nicht wirklich viel.
‫Wenn Sie bereits Erfahrungen mit Verwirrungsmatrizen gemacht haben, wissen Sie vielleicht, was hier vor sich geht.
‫Aber wenn Sie es nicht getan haben, und ich bin sicher, viele von Ihnen haben es nicht getan, dies ist nur eine Reihe verschiedener Zahlen.
‫Also lass uns weitermachen.
‫Und wie wäre es, wenn wir dem noch ein paar Labels hinzufügen?
‫Eine Möglichkeit, dies zu tun, ist die PD Dot Cross-Tab-Methode, mit der wir Pandas Cross-Tab nachschlagen können,
‫die im Wesentlichen zwei oder mehr Faktoren vergleicht.
‫Sehen wir uns dies also einfach in Aktion an, wenn Sie die Dokumentation wünschen. Natürlich können Sie darauf verweisen, aber ich
‫ziehe es vor, es in die Hand zu nehmen.
‫Lassen Sie uns also PD über Tab Y Test Y Preds gehen, und dann gehen wir hier rein.
‫Wir werden ihm wieder einen Parameterzeilennamen geben.
‫All dies wird hier erwähnt.
‫Wir haben einen Index, wir haben Spalten, wir haben Zeilennamen, Spaltennamen.
‫Sie können wahrscheinlich erraten, was diese beiden Parameter bewirken.
‫Lassen Sie uns darauf eingehen und sehen, was sie eigentlich tun.
‫Dies ist also das Wahrheitslabel und dann haben wir Anrufnamen, die dem vorhergesagten Label entsprechen.
‫Wir haben also die Zeilen mit den tatsächlichen Werten, und die Spalten sind die vorhergesagten
‫Werte aus unserem Modellvorhergesagt-Label.
‫Ach, los geht's.
‫Nun, da wir Null Eins projizieren, also Herzkrankheit oder keine Herzkrankheit, haben wir
‫hier Null Eins und tatsächliche Etiketten hier vorhergesagt.
‫Daher ist der idealste Punkt, an dem wir Werte haben möchten, auf der Diagonale.
‫Warum ist das so?
‫Nun, das würde bedeuten, dass das vorhergesagte Label unseres Modells null mit dem tatsächlichen Label der
‫Wahrheitswerte null und null übereinstimmt und dasselbe mit eins.
‫Nun diese Samples hier in der gegenüberliegenden Diagonale.
‫Das ist also von links oben nach rechts unten.
‫Beispiele, bei denen unsere Modelle verwirrt werden, sind im Wesentlichen die Vorhersage einer Eins, bei der das
‫tatsächliche Label Null ist und umgekehrt.
‫Hier sagt es Null voraus, wobei das eigentliche Etikett eine Eins ist.
‫Jetzt werden wir etwas visueller, denn das ist wieder für mich.
‫Wir können visueller vorgehen.
‫Ich bin mir nicht sicher, ob Sie das verstehen können, aber für mich schaue ich mir gerne ein paar schöne Farben an.
‫Kommen wir also zur Keynote.
‫Erinnern Sie sich daran, was die Anatomie der Verwirrungsmatrix ist.
‫Wir erinnern uns nicht daran.
‫Vielleicht stellen wir uns vor.
‫Aber hier sind wir.
‫Wir haben also die richtigen Werte auf der Diagonale.
‫Oben rechts werden Werte in einer binären Klasse als falsch negativ betrachtet.
‫Urlaubsproblem.
‫Ich möchte Sie auch hier nur zur Kenntnis nehmen, dass unsere Verwirrungsmatrix im Moment nur mit zwei Klassen
‫Null oder Eins befasst ist.
‫Diese Konfusionsmatrix kann jedoch beliebig groß sein.
‫Aber wie Sie sich vorstellen können, wenn wir ganz schnell von null auf 100 gehen würden, könnte es zu groß werden, fast
‫zu groß, um es zu visualisieren.
‫Lassen Sie uns Google wirklich groß machen.
‫Wir wollen eine wirklich große Verwirrungsmatrix.
‫Mal sehen, wie das aussieht.
‫Alles klar, los geht's.
‫Sehe dich hier.
‫So kann eine wirklich große Verwirrungsmatrix aussehen, und wenn Sie tatsächlich noch größer werden
‫können?
‫Sieh dir das an.
‫Das sind 90 Klassen.
‫Also ja, das verwirrt mich.
‫Aber das ist, oh, das ist es, was Sie im Idealfall wollen.
‫Das ist die ideal aussehende Verwirrungsmatrix, die diagonal von links oben links nach unten rechts hervorgehoben wird.
‫Wie wäre es nun, wenn wir ohne Verwirrungsmatrix bunt werden?
‫Ich habe hier die Keynote von dem, was hier vor sich geht.
‫Richtig ist von links oben nach rechts unten.
‫Wahre positive.
‫Echte Negative.
‫Oben rechts sind falsche Negative.
‫Mit anderen Worten, was bedeutet das?
‫Das Modell sagt null so negativ voraus.
‫Wenn die Wahrheit eins ist und wir unten links die falschen positiven Ergebnisse haben, und ein falsch positives Modell ist, sagt
‫eins voraus.
‫Wenn die Wahrheit null ist.
‫Ich werde Sie in Ihrer eigenen Zeit weiter darauf eintauchen lassen.
‫Gehen wir zurück, um Code zu schreiben.
‫Nun gibt es eine schöne Methode in Ketlen, die eigentlich relativ neu ist, also schreiben wir dies hier in eine
‫kleine Überschrift.
‫Erstellen einer Konfusionsmatrix mit CI Ketlen Nun, dies ist tatsächlich das zweite Mal, dass ich dieses Video aufnehme.
‫Wieso den?
‫Denn wenn ich dieses Video ursprünglich aufnehme, gab es eine andere Methode in Ketlen, aber da sie aktualisiert
‫wurde, möchte ich den Kurs so aktuell wie möglich halten.
‫Wir haben die neuen Versionen.
‫Dies ist in Ketlen 1. 0.
‫Also die neuen Methoden anwenden.
‫Diese sind übrigens zum Zeitpunkt der Aufnahme neu.
‫Also behielt ich Linie 1 bei. 0 ist gerade rausgekommen.
‫Um eine Konfusionsmatrix mit Socket-Line zu erstellen, benötigen Sie eine verkleinerte Version 1. 0 plus.
‫Also möchte ich dies in einen Abschlag umwandeln.
‫Na, bitte.
‫Schauen wir uns also die Socket-Zeile bei der Installation von Kaylon an.
‫Ich zeige Ihnen, wie Sie die neueste Version von Socket Line installieren können.
‫Das ist also diese Webseite hier.
‫Ich werde das kopieren, wenn wir hierher kommen, und ich füge es jetzt einfach dort ein.
‫Wunderbar.
‫Jetzt können wir überprüfen, welche Version der Zeile wir verwenden, indem wir importieren.
‫Möglicherweise haben Sie bereits Version 1. 0, wenn Sie so wollen, wenn Sie Socketline vor relativ kurzer Zeit
‫installiert haben, und noch einmal, weil Sie dies in der Zukunft möglicherweise in letzter Zeit als willkürlichen Begriff betrachten.
‫Aber wir werden nur überprüfen, ob die neueste Version ausgeführt wird.
‫Wenn wir es jedoch aktualisieren wollten, wie könnten wir das tun?
‫Nun, lass uns ins Terminal springen.
‫Hier ist der Ordner, in dem ich meine Notizbücher ausführe.
‫Wenn ich also anders gehe, führe ich dieses eine Abschnitt zwei Data Science- und ML-Tools aus.
‫Von dort ist dieses Notizbuch.
‫Ich habe die Umgebung aktiviert.
‫Was ich tun werde, ist, diese Umgebung zu deaktivieren.
‫Also zweitens, um klar zu deaktivieren.
‫Dies ist jetzt also nur der Ordner, in dem alle meine Notizbücher gespeichert sind.
‫Hier ist meine Umgebung, die wir vor langer Zeit erstellt haben.
‫Wenn Sie eine Auffrischung der Umgebungserstellung benötigen, können Sie darauf zurückspringen.
‫Aber jetzt werde ich meine Umgebung aktivieren.
‫Der Punkt steht hier für Umgebung im aktuellen Ordner aktivieren.
‫Also der aktuelle Ordner hier.
‫Wenn wir jetzt alles löschen, um es ein bisschen weiter zu erklären.
‫Ich sehe, wir sehen damit.
‫Ich habe dort einen Umgebungsordner.
‫Das bedeutet also nur Kontaktaktivierpunkt und diesen Ordner hier, diesen Umgebungsordner, wenn wir das ausführen, dann löschen
‫wir.
‫Und wenn wir jetzt ein Upgrade durchführen möchten, so dass ich in dieser Umgebung nicht erfahren kann, in der wir unsere
‫Notebooks von Ihrem ausführen, unterscheidet sich möglicherweise etwas von meinem Weg hier, aber gehen wir einfach hierher.
‫PIP installieren Sie verwenden steht für Upgrade-Socket.
‫Lernen Sie, damit wir zum Terminal zurückkehren.
‫Wir führen das Pip-Installations-Socket-Ketlen aus.
‫Da ich jetzt die neueste Version verwende, heißt es: Ja, los geht's.
‫Anforderung bereits aktuell.
‫Als ich dies zuvor tat, führte ich die Socket-Line-Version 0 aus. 24 Punkt etwas.
‫Aber dann habe ich 1 installiert. 0, um dieses neue Material herzustellen.
‫Also ich habe es schon.
‫Wenn Sie nicht 1 ausführen. 0, müssen Sie diese Schritte ausführen, wenn Sie bereits 1 haben. 0 und das haben Sie in
‫Ihrem Notizbuch herausgefunden.
‫Nun, dann sollte dieser Code für Sie funktionieren.
‫Wenn Sie gerade installiert haben 1. 0 müssen Sie möglicherweise den Kernel Ihres Notebooks neu starten.
‫Ich werde das nicht tun, aber klicken Sie einfach auf Neu starten und dann auf Alle ausführen, und Sie möchten alle diese
‫Zellen erneut ausführen.
‫Importieren Sie die Site, Ketlen, die neueste Version erneut und stellen Sie sicher, dass Sie 1 haben. 0 hier, bevor Sie diesen nächsten
‫Codesatz ausführen.
‫Schauen wir also jetzt nach oben.
‫Skyline Confusion Matrix Und hier finden wir die neuen Methoden, die in 1 eingeführt wurden, oder die neuen Klassen und Methoden,
‫die in 1 eingeführt wurden. 0 Verwirrungsmatrix-Anzeige aus Schätzung.
‫Wunderbar.
‫Also davon rede ich.
‫Das ist für mich bunter und wir sehen, dass das Grün oder das Gelb der Fliese ist.
‫Das bedeutet, je mehr Werte vorhanden sind und desto dunkler die Kachel.
‫Sie können diese Standardfarben bei Bedarf ändern.
‫Übrigens, wenn Sie nur die Dokumentation auf dem Dock der Kachel durchgehen, bedeutet dies, dass weniger Werte vorhanden
‫sind.
‫Lassen Sie uns dies für unsere Daten replizieren.
‫Und davon gibt es zwei Versionen.
‫Wir haben Skyline Metrics Confusion Matrix Display, zwei Versionen.
‫Einer stammt vom Schätzer und einer von Vorhersagen.
‫Wir werden uns beides anschauen.
‫Wenn Sie also weitermachen möchten, können Sie zu dieser Dokumentation kommen, auf jede dieser Methoden klicken und
‫sie selbst ausprobieren.
‫Aber sehen wir es in Aktion.
‫Wir gehen von Skyline Dot Matrix Import Confusion, Matrix Display aus.
‫In Ordnung, das ist also die Gesamtklasse.
‫Und dann verwenden wir den Anzeigepunkt der Klassenverwirrungsmatrix von der Schätzung aufwärts.
‫Jetzt können Sie erraten, was hier drin steht, wenn Sie einen geschulten Schätzer oder eine angepasste Schätzung benötigen.
‫In unserem Fall lautet unsere aktuelle Schätzung Klippe.
‫Wir geben hier den selbst zufälligen Waldklassifizierer ein und dann braucht es X, was in unserem Fall X ist und
‫dann Y, X und Y.
‫Also mal sehen was hier rauskommt.
‫Na, bitte.
‫Wir bekommen ein schönes Grundstück.
‫Was ist jetzt der Unterschied zu dem, was wir hier haben?
‫Y-Test Y Preds gegen X und Y?
‫Nun, zunächst einmal haben wir viel mehr Werte.
‫Das liegt daran, dass wir die gesamten X-Daten und die gesamten Y-Daten übergeben.
‫Wenn wir uns also den Doc-String hier auf der Registerkarte Chef ansehen, was brauchen wir von der Schätzung unserer Schätzung von
‫X Y?
‫Dann haben wir hier ein paar verschiedene Optionen, wie z. B. Labels Sample White Normalize.
‫Ich lasse Sie die Dokumentation durchlesen, um zu sehen, was diese tun.
‫Im Wesentlichen passt es an, wie die Handlung aussieht, wenn sie herauskommt.
‫Die Schätzung ist also eine Schätzung, beispielsweise ein angepasster Klassifikator oder eine angepasste skalenklasseneigene Pipeline, bei der die
‫letzte Schätzung ein Klassifikator ist.
‫Was ist unsere Schätzung?
‫Es ist ein zufälliger Waldklassifizierer.
‫Schauen wir uns nun die andere Version der Confusion Matrix-Anzeige an, die andere Methode, die ihr
‫aus Vorhersagen zugeordnet ist.
‫Der Unterschied besteht darin, dass aus Vorhersagen y wahr wird und y genau wie zuvor bei Al Cross gespreizt wird.
‫Es gibt also keine Schätzung.
‫Das bedeutet also, dass Sie Vorhersagen parat haben müssen.
‫Während Sie in der anderen Version von der Schätzung eine Verwirrungsmatrix erstellen können, ohne dass Vorhersagen verfügbar sind.
‫Es macht also die Vorhersagen für, sagen wir, Verwirrung, Matrixanzeigepunkt aus Vorhersagen, und wir werden den Doc-String hier
‫übergeben oder sehen, warum wahr und warum Fred so wahr ist, was unseren Testetiketten
‫entspricht und warum ist Pred gleich?
‫Wir haben unsere Vorhersagen genannt.
‫Warum Preds?
‫Mal sehen, wie diese Verwirrungsmatrix aussieht.
‫Wunderbar.
‫Viel besser, bunter.
‫Sie sind vielleicht nicht wieder der größte Fan dieser Farben, wenn Sie sie ändern möchten.
‫Sehen Sie, die Dokumentation bietet eine ganze Reihe verschiedener Möglichkeiten, diese anzupassen.
‫Dies ist ein eher visueller Aspekt als das, was wir hier oben herausgefunden haben.
‫Es zeigt an, dass alle drei die gleichen Daten anzeigen.
‫Dieser hier, dieser hier und dieser hier.
‫Aber sie haben nur ein zunehmendes Maß an Visualisierung, was oft sehr hilfreich ist, um zu verstehen, was vor sich
‫geht.
‫Das war's für Verwirrungsmatrizen.
‫Sie sind sehr, sehr, sehr visuelle Möglichkeiten, um zu sehen, wie Ihre trainierten Klassifikatoren laufen.
‫Wenn Ihnen die Anatomie gefällt, finden Sie die Folie hier.
‫Ansonsten sehen wir uns im nächsten Video.
‫Lassen Sie uns unsere Modelle weiter evaluieren.