‫Willkommen zurück.
‫Werfen wir nun einen Blick auf die dritte Methode zur Bewertung von psychisch erlernten Modellen, und wenn
‫wir in der Dokumentation zurückspringen, sind das echte metrische Funktionen.
‫Insbesondere hat es koloniale Metriken gelernt und wir haben Klassifizierungsmetriken, mit denen wir die Genauigkeitsbewertung sehen, wie
‫wir Präzision erhalten haben.
‫Wir haben einige davon schon einmal gesehen, bei der es sich um eine Verwirrungsmatrix für Klassifizierungsberichte handelt.
‫Na, bitte.
‫Präzisions-Score Rückruf-Score.
‫Und dann haben wir dasselbe wieder für Regressionsmetriken.
‫Wir haben ein paar hier.
‫Bedeutet absoluten Fehler.
‫Mittlere quadratische Fehler.
‫Ich habe die Challenge im letzten Video herausgegeben.
‫Oh, da sind unsere zwei Punkte.
‫Hallo.
‫Es gab einige davon auszuprobieren bei den Problemen, an denen wir bisher gearbeitet haben.
‫Ich hoffe, Sie haben es versucht, denn das ist der beste Weg, um selbst zu üben, indem
‫Sie einfach die Dokumentation durchsuchen, Code schreiben, einige Fehler machen und dann einfach sehen, wie Sie sie beheben können.
‫Lassen Sie uns nun eine kleine Überschrift schreiben, die verschiedene Bewertungsmetriken als Socket-Darlehensfunktionen verwendet,
‫und wir gehen hierher.
‫Die dritte Möglichkeit, Socket-Learning-Modelle für maschinelles Lernen zu bewerten, da sie den geschätzten Begriff verwenden,
‫den ich gerne modelliere, besteht darin, das Line-Dot-Matrix-Modul zu verwenden, und dann werden wir einfach die Dokumentation dort verlinken
‫und in Markdown umwandeln.
‫Wunderschönen.
‫Beginnen wir mit dem Schreiben von Code.
‫Wir beginnen mit unserem Klassifizierungsproblem.
‫Wir setzen aus dem S Dot Matrix Import Accuracy Score.
‫Wir bekommen die Genauigkeit.
‫Wir erhalten den Präzisions-Score und den Recall-Score.
‫Und vielleicht, vielleicht reicht das.
‫Oder wie wäre es, wenn wir auch F1 machen?
‫Warum nicht?
‫Da haben wir ein bisschen Vollständigkeit und dann bekommen wir ein Modell.
‫Von Skyline Dot Ensemble möchten wir also den Random Forest-Klassifikator importieren.
‫Und was sollen wir dann noch bekommen?
‫Nun, wir könnten genauso gut Try-and-Test-Split bekommen, warum?
‫Warum machen wir das nicht aus der Caitlin Typekit Modellauswahl?
‫Wir gehen den gesamten Workflow noch einmal durch Auswahl, Import, Training, Test, Split.
‫Und deshalb möchte ich, dass Sie es versuchen.
‫Erstellen Sie X und Y.
‫Dann möchte ich, dass Sie die Daten aufteilen und das Modell Y-Anpassungsmodell erstellen und dann das Modell mithilfe von Bewertungsfunktionen auswerten.
‫Also die, die wir gerade hier importiert haben, damit Sie einige Vorhersagen haben und die doc-Zeichenfolge zu diesen überprüfen, wenn
‫Sie herausfinden möchten, was sie sind.
‫Dies sind nur die wichtigsten Klassifizierungsmetriken, die wir behandelt haben.
‫Genauigkeit, Präzisionsrückruf und F1.
‫Natürlich gibt es hier noch ein paar mehr zur Klassifizierung, wenn Sie sich noch mehr davon ansehen möchten.
‫Bitte springen Sie in die Dokumentation.
‫Ich teile nur einige von denen, die Sie am häufigsten sehen werden.
‫Gleiches für die Regression.
‫Es gibt einige mehr als das, was wir behandelt haben.
‫Wenn Sie mehr lesen möchten, ist die Dokumentation jetzt hier.
‫Ich lasse Sie das versuchen, es in der Zwischenzeit auszufüllen.
‫Wie wäre es, wenn wir uns auch darauf vorbereiten, eine für die Regression zu machen?
‫Von Skylon Dot Matrix Import A2 Score, der das Bestimmtheitsmaß ist.
‫Absoluter Hauptfehler.
‫Der Hauptwert dafür, wie unterschiedlich die Vorhersagen Ihres Modells von den tatsächlichen Werten sind, mittlerer quadratischer Fehler, quadratischer
‫Wert der Vorhersagen Ihres Modells oder Fehler der Vorhersagen Ihres Modells im Vergleich zu
‫den tatsächlichen Beschriftungen.
‫Und dann werden wir skalar und wir bekommen das Ensemble-Modul und wir importieren
‫unsere originalgetreue Random-Forest-Regression.
‫Und wir bekommen auch dasselbe, was wir oben haben.
‫Sie müssen dies nicht immer schreiben, weil es bereits importiert wurde, aber nur so ist jedes dieser
‫Codeteile vorhanden.
‫Ich werde dies nach unten kopieren und hier wird es genau die gleiche Art von Layout sein.
‫Das Schöne an dieser Typekit-Zeilenbibliothek ist, dass ein Großteil des Arbeitsablaufs ähnlich ist, je nachdem, an
‫welchem Problem Sie arbeiten.
‫Damit Sie das Video hier anhalten können, versuchen Sie, diese beiden auszufüllen.
‫Wenn nicht, werden wir in drei oder so Sekunden fortfahren, drei zu eins.
‫Ich hoffe, du hast es probiert.
‫Nun, lass uns sie jetzt zusammen machen.
‫Wir müssen also X erstellen und Y kann beginnen.
‫Das ist eine Sache, die ich hier verpasst habe.
‫Zufällige Szene und wir gehen X gleich Herzkrankheit.
‫Wir haben dies jetzt ein paar Mal gemacht, aber wir werden das Ziel auf der ersten Achse fallen
‫lassen und dann y gleich dem Zielwert für Herzerkrankungen setzen.
‫Split-Daten sehen, ob wir dies tun können, indem Heart X Train X-Test an erster Stelle steht.
‫Ich habe eine Weile gebraucht, um diese Reihenfolge zu lernen, aber erinnere dich einfach zuerst an die X-Werte, teste
‫und teste, dann trainiere die Y-Werte, trainiere die Testteilung.
‫Wir teilen X und Y auf.
‫Denken Sie daran, dass dies nur für einen Split aufgeteilt wird und nicht für das, was wir zuvor gesehen haben,
‫nämlich die Kreuzvalidierung.
‫Das Aufteilen in Endsplits oder Splits ist ein Begriff, der oft verwendet wird könnte drei sein K könnte zwei sein K könnte 10
‫sein K könnte fünf sein.
‫Übergeben des Random Forest-Klassifikators.
‫Wir belassen es dabei.
‫Die Standardparameter passen das Modell an die Trainingsdaten an, die Spaltanpassung an X-Train-Y-Zug-Features und -Beschriftungen.
‫Jetzt werden wir das Modell mit Bewertungsfunktionen evaluieren.
‫Was Sie jedoch möglicherweise gefunden haben, ist eine andere Sache, die ich übersehen habe.
‫Vielleicht habe ich das also absichtlich getan.
‫Klassifikationsmetriken auf dem Test-Set geben an, wie diese Funktionen jetzt gezielt verwendet werden können.
‫Genauigkeit, die wir gesehen haben, wir haben sie vielleicht schon einmal gesehen, aber das ist in Ordnung.
‫Wenn nicht, werden wir sie abdecken.
‫Wir haben viele ähnliche Schritte unternommen, die wir gleich sehen werden.
‫Wir haben die Y-Testwerte, aber was erhalten wir, wenn wir uns die Dokumentation der Genauigkeitsbewertung ansehen?
‫Punktzahl der Genauigkeitsklassifizierung.
‫Wir müssen die Warum-Wahr-Werte, die in unserem Fall die Testlabels sind, mit den Y-Vorhersagewerten vergleichen,
‫die die Vorhersagen unseres Modells sind, damit wir hier den Sealift- oder den X-Test vorhersagen können.
‫Aber anstatt neu zu schreiben, wählen Sie ständig vorhersagen.
‫Wenn wir also einfach dorthin gehen und dies einen Wert x mal 100 ergeben sollte und wir ihn auf zwei Dezimalstellen formatieren, setzen
‫Sie hier ein kleines Prozentzeichen hinten und sehen Sie, was dabei herauskommt.
‫Weiter ist nicht definiert.
‫Brauchen wir das als X-Test?
‫Na, bitte.
‫OK.
‫Aber warum machen wir nicht einfach einige Vorhersagen und verwenden diese einfach wieder, also machen wir Vorhersagen?
‫Wir wollen ein Lachen sehen.
‫Sagen Sie auf X X Test voraus und die Y Preds werden dem gleich sein.
‫Also, wenn wir diese Zeile einfach kopieren.
‫Wir sollten den gleichen Wert für warum Preds erhalten, weil es genau das gleiche ist, außer dass wir es nur in eine Variable
‫stecken.
‫Ja, los geht's.
‫Das ist also etwas besser.
‫Wir werden das loswerden.
‫Lösch das.
‫Und wie wäre es, wenn wir diese Kopie nehmen?
‫Dies liegt daran, dass wir eine für den Präzisionsrückruf benötigen, wenn eine, welche dieser Metriken hier sind?
‫Precision Recall F1 noch einmal, wir könnten ein paar mehr gebrauchen, wenn wir wollten, weil wir hier eine
‫Reihe von Klassifizierungsmetriken haben.
‫Dies sind einige der häufigsten, einige der wichtigsten.
‫Wir werden dies in Präzision ändern.
‫Wir ändern diese in "Recall" und diese in "f one".
‫Wir können also wieder dasselbe tun.
‫Präzision, Präzision, Skalenerinnerungswert und F1-Wert.
‫Und dann brauchen wir sie einfach nicht als Prozentsätze zu formatieren, weder das noch das tun.
‫Genauigkeit ist die, die Sie oft in Prozent finden, oh, was haben wir hier vermisst?
‫Oh, wir verpassen das Ende des Dock-Strings oder des formatierten Strings.
‫Hast du das aufgegriffen?
‫Na, bitte.
‫Wunderschönen.
‫Wir könnten sie auf ein paar Dezimalstellen reduzieren, aber das ist in Ordnung.
‫Also los gehts.
‫Wir haben jetzt die dritte Möglichkeit gesehen, Bewertungsmetriken als Socket-Line-Funktionen zu verwenden.
‫Das ist jetzt für die Klassifizierung.
‫Ich werde das Video pausieren oder Sie das Video erneut anhalten lassen, um zu sehen, ob Sie das reproduzieren können,
‫was wir für die Klassifizierung getan haben.
‫Sie müssen hier einen zusätzlichen Schritt hinzufügen, um einige Vorhersagen mit den Modellen zu treffen, da man ein Modell
‫evaluiert.
‫Bei der Bewertung eines Modells werden die Vorhersagen unseres Modells mit den Ground-Truth-Daten verglichen, die sehr wichtig sind.
‫Genauso wichtig wie das Training ist, dass ein Modell dieses Modell bewertet, also probieren Sie es aus.
‫Ansonsten machen wir weiter und schreiben es zusammen in drei zu eins.
‫Willkommen zurück.
‫Ich hoffe, Sie haben hier eine Chance zur Bewertung eines Regressionsmodells mit einigen Bewertungsfunktionen gegeben, und
‫wir haben alle diese aus dem Metrics-Modul, dem Regressions-Metriken-Modul aus der Dokumentation der Site
‫Ketlen.
‫Und wenn Sie sich fragen, warum Daniel so oft auf die Dokumentation zurückgreift?
‫Nun, das liegt daran, dass Sie das oft tun werden, und ich tue das tatsächlich oft.
‫Daher versuche ich, Ihnen einige der Gewohnheiten zu vermitteln, die ich täglich als Machine Learning Engineer oder
‫Data Scientist anwende, um hier X und Y zu erstellen, und der Bezug auf Dokumentation ist eine der wichtigsten Gewohnheiten, die Sie jemals
‫entwickeln werden .
‫Natürlich können Sie nach Dingen suchen, aber irgendwann kehren Sie einfach zum Lesen der Dokumente zurück oder
‫zum Suchen, Lesen der Dokumente, Suchen, Lesen der Dokumente, Schreiben von Code, Fehlern,
‫immer und immer wieder richtig machen.
‫Experiment Experiment Experiment.
‫Erstellen Sie also diese geteilten Daten.
‫Das haben wir schon gesehen.
‫Wir werden das Modell als was instanziieren.
‫Weil wir an einem Regressionsproblem arbeiten.
‫Wir legen es als Regress für zufällige Wälder fest.
‫Wir belassen es bei den Standardparametern.
‫Wir passen das Modell an das Trainingsdatenmodell an, nicht an x Zug y Zug.
‫Und jetzt können wir Vorhersagen treffen.
‫Das war der zusätzliche Schritt, den wir hier hinzufügen mussten, nämlich diese Modellvorhersage beim X-Test wird dies als
‫Variable y Preds einrichten.
‫Wir könnten es umbenennen.
‫Es ist also nicht dasselbe wie hier oben, aber das ist in Ordnung.
‫Und jetzt werden wir die Tests mithilfe von Regressionsmetriken auswerten.
‫Also können wir F drucken.
‫Lassen Sie uns das R zuerst dazu bringen, zu punkten.
‫Also wollen wir punkten.
‫Wir werden das mit R formatieren, um mit Y test y period zu punkten.
‫Und dann wollen wir, oh, da haben wir noch nicht das Ende der Schnur.
‫Sie werden nicht drucken.
‫Was haben wir sonst gemeint?
‫Absoluter Fehler.
‫a kann also absolut bedeuten.
‫Haben wir?
‫Ja, wir haben Autovervollständigung y Fred.
‫Und schließlich wird Print bekommen, was für ein chaotischer, chaotischer mittlerer quadratischer Fehler ist, warum testen, warum Paraden und dann
‫das dort beenden?
‫Ich weiß nicht.
‫Was haben wir falsch gemacht?
‫Das ist der quadratische Hauptfehler von Kayla und Metrix.
‫Wir haben einen Tippfehler.
‫Hast du das schon mal mitbekommen?
‫Mittlere quadratische Fehler?
‫Wir rennen.
‫Das wird passen.
‫Unser Modell kann etwas länger dauern als das Klassifizierungsmodell, da unser Wohnungs-Dataset 20.000
‫Zeilen umfasst.
‫Oh, was machen wir falsch?
‫Warum ist Fred nicht definiert?
‫Oh, wir brauchen weiße Fäden.
‫Na, bitte.
‫Vielleicht hat er den Tippfehler wieder entdeckt.
‫Trainieren Sie das Modell dort einfach um.
‫Bewerten Sie es neu.
‫Was ist also der Unterschied zwischen unserer Cross-Val-Auswertung und unseren Regressionsmetriken oder Klassifikationsmetriken
‫hier?
‫Diese Metriken werden in einem Zugtest-Split im Vergleich zu diesen Metriken gefunden.
‫Hier oben finden Sie mehrere Zugtestaufteilungen mit Kreuzvalidierung.
‫Das Auffinden dieser Metriken dauert länger, da Sie mehrere Modelle trainieren und auswerten müssen.
‫Sie sind jedoch im Allgemeinen ein besserer Hinweis auf die Leistung Ihres Modells außerhalb
‫eines Jupiter-Notizbuchs bei unsichtbaren Daten als nur bei einem einzelnen Split.
‫Behalte das also einfach im Hinterkopf.
‫Wunderschönen.
‫Wir haben einige Regressionsmetriken im Testset, also haben wir COVID.
‫Es hat eine Weile gedauert, aber ich wollte viel Zeit mit diesem Abschnitt verbringen, weil es so wichtig ist, ein
‫Modell zu bewerten.
‫Wenn Sie also mehr darüber lesen möchten, lesen Sie bitte die Dokumentation.
‫Wir haben die Methode der Schätzung und Bewertung behandelt.
‫Wir haben den Bewertungsparameter behandelt und uns metrische Funktionen angesehen.
‫Es gibt noch viel mehr hier, aber Sie haben den Kern von allen dreien gesehen.
‫Lassen Sie uns nun herausfinden, was wir behandeln.
‫Wir schauen uns unsere Liste an.
‫Was haben wir bisher durchgemacht?
‫Null- und End-to-End-Workflow zur Bereitstellung der Daten?
‫Wählen Sie den richtigen Schätz-Schrägstrich-Algorithmus für unsere Probleme.
‫Passen Sie das Modell an, indem Sie ein Modell bewerten, und oh, Nummer fünf, wir sind dabei, ein Modell zu verbessern.
‫Das ist sehr, sehr spannend.
‫Wir haben also bisher viel im Bereich Socket Line behandelt, aber wir haben noch ein bisschen mehr vor
‫uns.
‫Wir sehen uns im nächsten Abschnitt.
‫Lassen Sie uns herausfinden, ob wir diese Metriken haben, wie können wir sie verbessern und verbessern?
‫Wir haben es in früheren Videos angedeutet, aber jetzt tauchen wir wirklich ein.
‫Wir sehen uns im nächsten Abschnitt.