‫Wir haben gerade die Genauigkeit als Methode zur Bewertung unserer Klassifizierungsmodelle behandelt, und Sie denken vielleicht, warum
‫können wir es nicht einfach dabei belassen?
‫Nun, wenn wir beginnen, diese anderen Metriken hier durchzugehen, werden Sie verstehen, warum es wichtig sein könnte,
‫ein paar mehr verschiedene Bewertungsmetriken auf die Tafel zu bringen, anstatt nur die Genauigkeit.
‫In meinem Fall, als ich zum ersten Mal lernte, wie man Klassifizierungsmodelle erstellt, dachte ich immer, ja,
‫eine höhere Genauigkeit ist besser.
‫Rechts?
‫Und dann langsam, nachdem ich mir verschiedene Beispiele angesehen habe, beginne ich zu erkennen, OK, jetzt sehe ich den
‫Wert der Verwendung anderer Metriken wie dieser, aber lassen Sie uns nicht darüber sprechen.
‫Sehen wir es in Aktion.
‫Der nächste, den wir behandeln werden, ist der Bereich unter dem Empfängerbetrieb, also der
‫Bereich unter der Empfängerbetriebskennlinie.
‫Das Schöne ist, dass es auch als U bekannt ist. S. Also Bereich unter Kurve oder Ossy.
‫Also Betriebscharakteristik des Empfängers.
‫Machen wir also diese RRC-Kurve.
‫Dies sind also die beiden Dinge, auf die Sie achten werden.
‫Bereich unter Kurve oder Felskurve.
‫Ich würde es hier hinstellen.
‫Siehst du bzw.
‫Rakove, schön, wenn Sie also jemanden über AUC oder ARACY oder Rock oder ähnliches sprechen hören, sprechen sie hier
‫wahrscheinlich über diese Metrik.
‫Was misst nun eine Felskurve?
‫Nun, nach formaler Definition ist eine Felskurve ein Vergleich der True-Positive-Rate eines Modells mit der False-Positive-Rate
‫eines Modells.
‫Rechts.
‫Schreiben wir das auf.
‫Hier ist ein Vergleich der True-Positive-Rate eines Modells, die auch als TPA bekannt ist, mit der False-Positive-Rate eines
‫Modells.
‫Rechts.
‫Was auch als FPO bekannt ist.
‫Jetzt fragen Sie sich vielleicht, was ist wahr, positiv und was ist falsch positiv?
‫Schauen wir doch mal hier.
‫Ein echtes positives Adlermodell sagt voraus, dass die Wahrheit sinnvoll ist.
‫In unserem Fall also, wenn wir hier nach oben schauen und echte Ziele eins oder null sind, ist ein echtes Positiv, wenn unser
‫Modell eine Eins vorhersagt.
‫Das wahre Etikett ist eins.
‫Okay, ja, das macht Sinn.
‫Wenn wir also hierher gehen, sagt ein falsch positives Modell eins voraus, wenn die Wahrheit null ist.
‫Warum heißt es also falsch positiv.
‫Nun, es ist, weil es einen vorhersagt.
‫Die positive Klasse hat also eine Herzkrankheit, obwohl die Wahrheit tatsächlich Null ist.
‫Es gibt uns also ein falsch positives Gefühl, dass eine Person in unserem speziellen Fall für das
‫Klassifikationsproblem der Herzkrankheit eine Herzkrankheit haben könnte.
‫Und dann, wenn wir hierher kommen, ein echtes Negativ.
‫Das Modell von Google sagt null voraus, wenn die Wahrheit null ist.
‫Das macht also Sinn.
‫Das heißt also, dass das Modell die richtige Vorhersage erhält.
‫Es wird vorhergesagt, dass jemand keine Herzkrankheit hat, obwohl dies tatsächlich der Fall ist.
‫Das ist großartig.
‫Und dann wird ein falsch negatives gleich Modell vorhergesagt.
‫Was denkst du wird das sein?
‫Falsch negativ.
‫Wir betrachten falsch positiv.
‫Ein falsch negatives Ergebnis liegt vor, wenn das Modell Null vorhersagt, wenn die Wahrheit gewonnen ist.
‫Das liegt also daran, dass es keine Herzkrankheit vorhersagt, obwohl es tatsächlich eine Herzkrankheit ist, oder?
‫Jetzt, da wir diese kennen, können wir sehen, dass eine Felskurve ein Vergleich der wahren positiven Werte eines Modells ist.
‫Rechts.
‫TPA versus Tippfehler überall.
‫Und Sie kommen schon, das ist ein falsch positives Ergebnis eines Models, richtig.
‫Oder fpr.
‫Das wissen wir jetzt also.
‫Sehen wir es uns in Aktion an, damit wir dies mit der Saikat Loans Metrics Library tun können. Wir importieren die
‫Kurve, die sagt, sieh Rakove unsere Kurve und dann werden wir Vorhersagen mit Wahrscheinlichkeiten machen.
‫Und wie können wir Vorhersagen mit Wahrscheinlichkeiten treffen.
‫Wir haben dies bei Vorhersagen gesehen.
‫Wir können dies tun, indem wir warum Probs gleich Klippenvorhersagen für die Wahrscheinlichkeit mit Brecheisen voraussagen.
‫Wir werden einige Vorhersagen zu den Testdaten machen.
‫Jetzt möchte ich nur sicherstellen, dass wir das vielleicht tun, wenn wir erstellen.
‫Erstellen Sie einen X-Test, um sicherzustellen, dass es sich um den richtigen X-Test, Daten-X-Test handelt.
‫Usw. , Also wir wollen hier X trainieren, X testen.
‫Warum trainieren, warum Testfahrzeuge trainieren, um x Y-Größe gleich null Komma zwei zu teilen, wunderbar.
‫Und jetzt können wir das dort tun, denn eine Felskurve ist ein Vergleich der True-Positive-Rate eines Modells mit der
‫False-Positive-Rate eines Modells, richtig.
‫Wir wollen nur die positiven Klassen behalten.
‫Also mal sehen, was wir testen.
‫Sieht aus wie meine Probleme.
‫Warum hat das nicht funktioniert?
‫Was haben wir hier?
‫Dieser Regenwald klassifiziert ist noch nicht eingerichtet.
‫Ruf fit.
‫Ach, das würde Sinn machen.
‫Also wollen wir.
‫Mit dem Klassifikator können Sie natürlich keine Vorhersagen treffen, ohne sie anzupassen, ohne dass das Modell
‫irgendwelche Muster lernt.
‫Also passen wir es hier an, dann machen wir ein paar Vorhersagen und schauen uns das an, vielleicht
‫nur die ersten 10.
‫Also nehmen wir unseren Leuten keinen Raum.
‫Okay, schön.
‫Und so wegen unserer rosigen Kurve.
‫Nur ist ein Vergleich der True-Positive-Rate eines Modells mit einer False-Positive-Rate, wir wollen nur Wahrscheinlichkeiten, die das Modell
‫für die positive Klasse vorhergesagt hat.
‫Wenn Sie sich hier also unsere Modelle vorstellen, die versuchen, Null oder Eins vorherzusagen.
‫Dies ist eine Wahrscheinlichkeit, dass das Label null ist.
‫Und dies ist die Wahrscheinlichkeit, dass das Label für alle diese Samples eins ist und so weiter, bis es
‫fertig ist.
‫Es werden also viele davon im Testset hier sein.
‫Einundsechzig werden einundsechzig von ihnen sein.
‫Was wir also im Wesentlichen wollen ist, warum Probs positiv?
‫Dies sind die Wahrscheinlichkeiten, dass es sich um die positive Klasse handelt. Null ist die negative
‫Klasse und eins ist die positive Klasse, warum Probleme hier etwas Slicing verwenden werden, aber nur Spalte eins jeder Zeile, damit
‫wir dies tun können.
‫Nur damit Sie wissen, was los ist, positiv.
‫Und wir schauen uns nur den ersten Hanigan an.
‫Das macht also Sinn, wir bekommen null Komma vier drei ja, null Komma sieben sieben ja, null Komma vier
‫acht usw. usw. für die gesamte Liste der Gründe für Probleme.
‫Und jetzt können wir FBAR und Threshold berechnen.
‫Also für die Eagles, Teper Threshold, warum weiß ich, dass dies dies in einer Sekunde sehen wird?
‫Warum weiß ich, dass dies eine ROC-Kurve für die Karmaschwelle des PR-Kommentars sein wird?
‫Wir werden es passieren.
‫Warum testen und warum Rob positiv ist.
‫Wie würden Sie nun herausfinden, was Rockliebe in diesem Fall zurückgibt?
‫Nun, was ich tun würde, ist bedrückende Tabs und so weiß ich es.
‫Wir haben also die Roc-Kurve.
‫Es dauert y.
‫Wahr.
‫Das sind also unsere Testetiketten.
‫Es dauert Y-Score.
‫Das sind also unsere y-Probs positiv.
‫Und wenn wir hier runterkommen, berechnen Sie die Betriebscharakteristik rock des Empfängers.
‫Ja.
‫Schöne jetzt Parameter.
‫Warum wahr, warum Score-Zielwerte können entweder Wahrscheinlichkeitsschätzungen der positiven Klassenkonfidenzwerte oder Nicht-Schwellenmaße
‫der Entscheidung sein.
‫Das sind also die Wahrscheinlichkeitsschätzungen der positiven Klasse.
‫Von dort haben wir dieses Stück.
‫Rechts.
‫Und wenn wir dann hierher kommen, wird es uns sagen, was unsere Renditen sind, indem es die falsch-positiven
‫Raten erhöht, so dass das Element AI eine falsch-positive Rate von Vorhersagen mit einer Punktzahl über dem Schwellenwert TPA ist.
‫Das ist also eine echte positive Rate und Schwellenwerte.
‫So können wir herausfinden, was eine Funktion zurückgibt.
‫Und das ist wiederum nur das Betrachten der Zeichenfolge in einem ägyptischen Notizbuch.
‫Sie können dazu jederzeit die Dokumentation einsehen.
‫Wenn Sie dies tun möchten, können Sie beispielsweise nachschlagen, wie man die Roc-Kurve berechnet, damit ich es lernen kann.
‫Dann werden wir die False-Positive-Raten überprüfen.
‫FPA schön.
‫Das gibt uns also eine große Auswahl.
‫Aber diese allein zu betrachten macht nicht wirklich viel Sinn.
‫Es ist viel einfacher, es visuell zu sehen.
‫Und da getline nicht wirklich eine eingebaute Funktion zum Zeichnen einer Felskurve
‫hat, müssen wir möglicherweise eine Funktion finden oder eine eigene
‫schreiben.
‫Das wird es für dich tun.
‫Das sehen wir uns im nächsten Video an und zeichnen eine Felskurve.
‫Und diese Funktion hier, ROC Curve, wird ein bisschen mehr Sinn machen, anstatt nur ein Array von Zahlen
‫zu sein.