‫Wir haben unsere Daten jetzt in X, Train Y, Train X-Validierung, Y-Validierung, aber in einem früheren Video haben wir
‫unser Modell mit dieser Bewertungsfunktion bewertet.
‫Was verwendet die Schulfunktion, sie verwendet das Bestimmtheitsmaß, aber wenn wir uns gleich wieder daran erinnern, wird die
‫Spitze gleich wieder aus der Spitze gehen, nur um es zu überprüfen, weil wir dies aufgeschrieben haben.
‫Wir wissen, dass die Bewertungsmetrik für diesen Wettbewerb, also für dieses Projekt, an dem wir
‫arbeiten, ein SLA ist, oder mit anderen Worten, der quadratische Mittelwert des logarithmischen Fehlers.
‫Das ist nicht dasselbe wie das Bestimmtheitsmaß.
‫Und wenn Sie sich fragen, woher wir diese Bewertungsfunktion haben, dann aus der Kuhwettbewerbs-Übersichtsbewertung, die
‫wir gleich zu Beginn gesehen haben.
‫Aber das prüfen wir einfach nochmal.
‫Auswertung.
‫Die Bewertungsmetrik für diesen Wettbewerb ist also der AR, und wir können ihn sicherlich googeln, um zu sehen, was
‫er tatsächlich ist.
‫Lass uns hierher gehen.
‫Wurzel des quadratischen Mittels Laurita.
‫Was ist der Unterschied zwischen Wie interpretieren Sie den mittleren quadratischen Fehler?
‫Okay, wir haben da ein paar Möglichkeiten.
‫Wenn Sie also weiterlesen möchten, können Sie dies nachschlagen, aber wir werden dies
‫im Code durcharbeiten.
‫Gehen wir runter.
‫Sie fragen sich vielleicht, warum wir den Root-Mean-Squared-Log-Fehler nicht gesehen oder wirklich erwähnt haben.
‫Das ist an sich schon ein kleiner Bissen.
‫Was wir also tun könnten, wir müssen unsere eigene Bewertungsfunktion erstellen, denn wenn wir zu
‫unserer Keynote zurückkehren.
‫Klassifikations- und Regressionsmetriken, die hier am Regressionsproblem arbeiten, dies ist eine der Folien aus
‫dem Abschnitt Darlehen, denke ich.
‫Wir haben einen absoluten Hauptfehler.
‫Ich meine, quadrierter Fehler, MSI, OK, quadratischer Mittelwert des Fehlers.
‫Hier fehlt jedoch die Protokollkomponente.
‫Mal sehen, ob wir das über Escalon hinbekommen.
‫Also gehen wir hierher zurück.
‫Was wir tun könnten, ist, unser eigenes Gebäude und eine Bewertungsfunktion aufzubauen.
‫Je nach Projekt, an dem Sie gerade arbeiten, müssen Sie dies möglicherweise tun.
‫Rechts.
‫Wenn wir also an diesem Kabelwettbewerb arbeiten und sie sagen, dass wir aus irgendeinem Grund diese Metrik
‫verwenden müssen, wer weiß?
‫Die Personen, die diese Herausforderung gepostet haben, können dies verlangen.
‫Sie haben möglicherweise entschieden, dass dies ihre beste Bewertungsmetrik ist.
‫Je nachdem, an welchem Projekt Sie arbeiten, müssen Sie möglicherweise eine Bewertungsfunktion finden, die am besten
‫zu Ihrem Anwendungsfall passt.
‫Was wir also tun werden, ist eine Bewertungsfunktion zu erstellen, weil wir mehrere Experimente durchführen werden, wir mehrere
‫verschiedene Modelle des maschinellen Lernens füttern und sie bewerten möchten.
‫Deshalb bauen wir es in eine Funktion ein, damit wir diese Funktionalität mehrmals verwenden können, ohne uns wiederholen zu
‫müssen, weil wir beim Schreiben all dieses Codes etwas faul sind, wissen Sie?
‫Ich möchte einfach immer mehr experimentieren und eine Bewertungsfunktion erstellen.
‫Die Konkurrenz verwendet Wurzel, Mittelwert, Quadrat Loewer immens.
‫Wir können also von Skyline, Dot, Matrix ausgehen, das kann ich Ihnen sagen.
‫Also lerne ich.
‫Sie könnten zu den Escalon-Evaluierungsmetriken gehen, aber wir können hier durchgehen, wir können uns
‫einige Evaluierungsmetriken ansehen, mittlerer quadratischer Logfehler.
‫Okay, das können wir vielleicht nutzen.
‫Ich meine, quadrierter Log-Fehler, aber wir müssen unser eigenes kleines Stück hinzufügen, weil dies nicht
‫länger der quadratische Mittelwert ist.
‫Was wir also tun könnten, ist, dass sie diesen hier nehmen könnten.
‫Das können wir importieren.
‫Lass uns das tun.
‫Also aus České gelernten Metriken importieren Sie den logischen Hauptfehler und zum Teufel würde das absolute Fehler bedeuten.
‫Sie machen Vorhersagen für alle Beispiele und dann ziehen Sie Ihre Vorhersagen von Ihren tatsächlichen Werten ab und nehmen
‫den Durchschnitt.
‫Das ist ein absoluter Fehler.
‫Wie hoch ist Ihre durchschnittliche Prognose vom tatsächlichen Verkaufspreis?
‫Aber der quadratische Log-Hauptfehler hat mehr mit dem Verhältnis und meistens mit Regressionsproblemen zu tun.
‫Rechts.
‫Wenn du möchtest.
‫Zehn Dollar Rabatt auf so etwas.
‫Wenn wir also zehn Dollar weniger hätten, wäre diese Verkaufspreisvorhersage nicht wirklich wichtig.
‫Aber wenn wir 10 Prozent Rabatt hätten, wäre das ziemlich schlecht.
‫Rechts?
‫Sie möchten nicht mehr als 10 Prozent des Werts sein, der etwas einfügt.
‫Es könnten 20 Prozent sein, könnten 30 Prozent sein.
‫Aber das ist der Unterschied zwischen diesen beiden, oder?
‫Jedes Mal, wenn Sie absolut sehen.
‫Betrachten Sie es als zehn Dollar Rabatt und jedes Mal, wenn Sie ein Quadrat oder eine Art Protokoll sehen, oder denken
‫Sie daran wie das Verhältnis.
‫Mit einem Rabatt von etwa 10 Prozent können Sie diese beiden also wirklich miteinander vergleichen.
‫Aber wir haben ein bisschen mehr davon in der Folie.
‫Vielleicht möchten Sie einen Screenshot davon machen.
‫Das ist ziemlich gut, aber das wird alles in der Folie sein.
‫Sie können später auschecken.
‫Wir wollen eine Bewertungsfunktion erstellen.
‫Wir haben einen quadratischen Hauptprotokollfehler.
‫Wie würden wir das also in den quadratischen Mittelwert des Logarithmus umwandeln.
‫Also probieren wir es aus.
‫Also gehen wir vielleicht hierher.
‫Ich möchte nicht root eintippen, was bedeutet, dass das zu viel r ist.
‫S Emslie-Wurzelmittelwert.
‫Squared Laguerre, schön, und das kann nur einen Test bestehen und warum die Parade die
‫gleichen Eingaben erfordert wie meine Saikat-Lernfunktionen, um zu sehen, wie dies wahr ist, warum das Lesen wahr sein könnte.
‫Es könnte ein Test sein.
‫Es spielt keine Rolle, warum testen.
‫Und dann gehen wir hierher, wir überlassen uns ein bisschen Doktorarbeit.
‫Berechnet
‫den quadratischen Mittelwert des logarithmischen Fehlers.
‫Zwischen Vorhersagen und wahren wahren Labels, wunderbar, und dann kehren wir myco zurück, was schön und einfach ist, wir
‫können einfach jede Quadratwurzel des mittleren quadratischen Logfehlers verwenden.
‫Es muss dies an die Testwerte und die Vorhersagen weitergeben, um quadratische Logorrhö zu bedeuten.
‫Das ist eigentlich ganz einfach.
‫Was wir hier machen, wir ziehen die Quadratwurzel.
‫So.
‫Rechts.
‫Also die Wurzelkomponente des logarithmischen Hauptfehlers, der quadratischen Hauptlogorrhoe zwischen Vorhersagen und wahren
‫Labels.
‫Wunderbar.
‫Daher haben wir unsere eigene Bewertungsfunktion entwickelt, die den Anforderungen von Cagle entspricht, den
‫Root-Mean-Squared-Anwalt.
‫OK, und wir möchten wahrscheinlich noch ein paar Dinge überprüfen, wie zum Beispiel eine Bewertungsfunktion erstellen, um ein paar Dinge
‫gleichzeitig zu überprüfen, damit wir so etwas nicht ständig aufrufen müssen.
‫Lassen Sie uns also eine Funktion erstellen, um das Modell auf einigen verschiedenen Ebenen auszuwerten.
‫Auch hier ist die Bewertung genauso wichtig wie der Aufbau des eigentlichen Modells.
‫Wir werden also das Modell der Show-Scores hören, also werden wir es bestehen.
‫Unser Modell.
‫Wir machen einige Vorhersagen zu den Trainingsdaten, einige Modelle werden nicht vorhergesagt.
‫Wir werten also aus, wie unser Modell mit den Trainingsdaten X train abgeschnitten hat, und dann werten wir aus, wie
‫sich unser Modell mit dem Validierungsdatenmodell nicht vorhersagt.
‫Wir geben es hier x-Validierung aus, wenn unser Modell bei dem Validierungsdatensatz besser abschneidet, der auf
‫eine Überanpassung unseres Modells hinweist.
‫Zwischen Training und Validierung sollten Sie im Allgemeinen, da unser Validierungssatz nur 12000 Beispiele enthält
‫und wir unser Modell nicht darauf trainieren, etwas schlechtere Metriken auf dem Validierungssatz sehen,
‫die den Trainingssatz invertieren.
‫Also werden wir gleich Punkte machen.
‫Vielleicht geben wir eine Art Wörterbuch zurück.
‫Jawohl.
‫Das Training und sie meine ich, absoluter Fehler.
‫Wir gehen zu Kitab Autocomplete bedeuten absoluten Fehler.
‫Ja, ich kann.
‫Warum trainieren.
‫Denken Sie also daran, wir vergleichen nur den Warum-Zug.
‫Dies ist also der mittlere absolute Trainingsfehler auf den Trainingsetiketten im Vergleich zu den Trainingsvorhersagen und
‫schön.
‫Wir werden darin gültig gehen.
‫Also wieder, Sie würden erwarten, dass diese Gültigkeit etwas schlechter ist und das Training wird warum gültig sein?
‫Und das wird Valproat sein.
‫Und dann gehen wir zum Training und XLE für den quadratischen Mittelwert des Fehlers.
‫Und wir können dies mit unserer ausgefallenen kleinen Funktion tun, die wir gerade hier oben erstellt haben.
‫Das ist spannend, indem wir unsere eigenen Bewertungsfunktionen schreiben, vielleicht ist das ein Pull-Request, Potenzial für
‫Psychedelika.
‫Ich frage mich, warum sie keinen quadratischen Log-Fehler haben.
‫Vielleicht ist es nicht so beliebt.
‫Oder vielleicht können Sie es einfach selbst so erstellen.
‫Ist das korrekt?
‫Warum trainieren Gehirne.
‫Ich rede zu viel.
‫Rede nicht.
‫Und Colgates Naumkin.
‫Du kannst machen was immer du willst.
‫Auf geht's.
‫Hier FSLIC außer Ihr Machine-Learning-Modell nicht unterschätzen.
‫Das ist das einzige, was Sie nicht tun dürfen.
‫Jeder liebt ein gutes Modell, aber jeder liebt ein gut evaluiertes Modell für maschinelles Lernen noch mehr.
‫Und schließlich, da wir hier sind, nehmen wir zur Sicherheit den Standard-Score und importieren ihn einfach.
‫Das ist wahrscheinlich ein bisschen besser, um zu versuchen, ein Tor zu erzielen.
‫Was ist der Grund, warum die automatische Vervollständigung der Registerkarten nicht funktioniert, gibt mir einige Probleme, also müssen wir nur nach
‫einem AA2-Ergebnis fragen.
‫Ja, vertraue deinem Instinkt, Daniel.
‫Komm schon.
‫Sind zur Schule.
‫Das ist alles, was wir dort ändern.
‫Anstatt etwas neu zu berechnen, wird es nur wichtig sein.
‫Nun, das ist eine ziemlich anständige Funktion, die nicht lügen wird.
‫Es kümmert sich um ein paar Dinge und es ist wahrscheinlich eine Redundanz, die wir beheben könnten.
‫Aber das ist richtig.
‫Wir versuchen, so schnell wie möglich zu experimentieren.
‫Sie denken vielleicht, dass Experimente verlangsamt werden, aber mit Ihrer eigenen Übung, ohne dass
‫Sie mir zuhören und solche Dinge durchgehen müssen, werden Sie durch Experimente sausen.
‫Du.
‫Nein, das ist falsch, nicht wahr?
‫Das muss Valpreda sein, es ist wunderschön, und wir werden die Ergebnisse zurückgeben.
‫Okay, was haben wir hier gemacht?
‫Daher haben wir eine Bewertungsfunktion entwickelt, die den Anforderungen für dieses spezielle Projekt entspricht.
‫Und in unserem Fall ist es der quadratische Mittelwert.
‫Noguera Ich werde heiser werden und sagen, dass, wenn ich so weitermache und wir dann eine weitere kleine
‫Hilfsfunktion erstellt haben, die eine ganze Reihe anderer Metriken macht, einige Vorhersagen mit einem Modell treffen
‫werden, an das wir es weitergeben.
‫Und dann werden diese Vorhersagen auf einer ganzen Reihe verschiedener
‫Spielfelder bezüglich des absoluten Hauptfehlers, des quadratischen Mittelwerts des logarithmischen Fehlers und des Bestimmtheitsmaßes verglichen.
‫Das reicht also wirklich für dieses eine Video, das unsere eigenen benutzerdefinierten Bewertungsfunktionen erstellt.
‫Dies ist wiederum etwas, das Sie vielleicht für Ihre eigenen Projekte tun möchten, da wir so viele
‫Experimente wie möglich durchführen.
‫Es ist hilfreich, solche Bewertungsfunktionen zu haben, damit Sie schnell eine ganze Reihe verschiedener Dinge tun können,
‫anstatt dies jedes Mal neu eingeben zu müssen, wenn wir ein neues Modell ausprobieren.
‫Aber.
‫Lassen Sie uns ein Intermezzo verschieben, unsere Funktionen werden instanziiert und wir werden versuchen, sie im nächsten Video
‫zu testen.