‫Welkom terug, tot nu toe hebben we een paar verschillende manieren gezien om een classificatiemodel
‫te evalueren en te onthouden dat de evaluatie van een machine learning-model vaak voorspellingen vergelijkt met waarheidslabels.
‫Dus laten we nu verder gaan met een meer visuele manier om onze classificatiemodellen te evalueren, en dat is
‫waar de verwarringsmatrix.
‫En als je hier nog nooit van hebt gehoord, maak je geen zorgen, we zullen veel praktische
‫ervaring hebben met verwarringsmatrices tegen de tijd dat je deze video voltooit.
‫Dus de volgende beste manier om een classificatiemodel te evalueren, is door een verwarringsmatrix hier beneden te gebruiken.
‫Een verwarringsmatrix is een snelle manier om de labels, een model voorspelt en het daadwerkelijke label te vergelijken.
‫Dus de waarheidslabels.
‫Het moest voorspellen.
‫In wezen geeft dit u een idee van waar het model in de war raakt.
‫Dus dat is alleen maar schrijven. Laten we stoppen met het schrijven van wat code.
‫Het mooie van Psychic Lone is dat het veel van deze evaluatiestatistieken en formaten en functies
‫heeft ingebouwd.
‫Dus laten we gaan van Kaylon Dot Matrix Impart Confusion Matrix.
‫En dan gaan we.
‫Waarom parades sommige voorspellingen doen met onze getrainde classifier zal voorspellen op X-test, en dan gaan
‫we een verwarringsmatrix maken met Y Test en Y Preds.
‫Maar voordat we dat doen, gaan we eerst naar de documentatie Kaylon-verwarringsmatrix.
‫Herinner ons gewoon aan de functie die we uitvoeren.
‫Dus dit is het hier.
‫Laten we eens kijken wat de ingangen zijn.
‫We hebben waarom.
‫True is de eerste parameter en vervolgens wijdverbreid als de tweede parameter.
‫Als we naar beneden scrollen, hebben we hier een voorbeeld.
‫Dit is hoe onze output, we willen dat het eruit ziet.
‫Dus ze hebben waarom waar?
‫In ons geval hebben we waarom waar is waarom testen?
‫En ze hebben waarom Fred, wat in onze gevallen is, noemen we het waarom Fred met een s is?
‫Ja, dat deden we.
‫Dus ik ga deze link gewoon naar de verwarringsmatrix kopiëren.
‫En dat gaan we hier net boven zetten.
‫Zie hier voor Skyline Confusion Matrix.
‫Goed, maar genoeg gepraat.
‫Laten we het in actie zien.
‫O, daar gaan we nu.
‫Op dit moment betekent dit niet echt veel voor ons.
‫Als je al eerder ervaring hebt gehad met verwarringsmatrices, weet je misschien wat hier aan de hand is.
‫Maar als je dat niet hebt gedaan, en ik weet zeker dat velen van jullie dat niet hebben gedaan, is dit slechts een reeks verschillende getallen.
‫Dus laten we doorgaan.
‫En wat dacht je ervan om hier wat labels aan toe te voegen?
‫Dus een manier om dat te doen is met de PD Dot Cross Tab-methode, waarmee we Pandas Cross Tab kunnen
‫opzoeken, die in wezen twee of meer factoren gaat vergelijken.
‫Dus laten we dit gewoon in actie zien als je de documentatie wilt, je kunt hier natuurlijk naar verwijzen, maar ik geef er
‫de voorkeur aan om ermee aan de slag te gaan.
‫Dus laten we PD over Tab Y Test Y Preds gaan, en dan gaan we hier op ingaan.
‫We gaan het weer een parameterrijnaam geven.
‫Deze worden hier allemaal genoemd.
‫We hebben index, we hebben kolommen, we hebben rijnamen, kolomnamen.
‫U kunt waarschijnlijk raden wat deze twee parameters doen.
‫Laten we daar eens op ingaan en laten we eens kijken wat ze doen, een echt label.
‫Dus dit is het waarheidslabel en dan hebben we roepnamen gelijk aan het voorspelde label.
‫We hebben dus de rijen met de werkelijke waarden en de kolommen zijn de voorspelde waarden
‫van ons model voorspelde label.
‫O, daar gaan we.
‫Nu, aangezien we nul één projecteren, dus hartziekte of geen hartziekte, hebben we
‫voorspelde labels hier nul één en werkelijke labels hier.
‫En dus is de meest ideale plek waar we waarden willen hebben, op de diagonaal.
‫Waarom is dat?
‫Dat zou betekenen dat het voorspelde label van ons Model nul overeenkomt met het werkelijke label van
‫de waarheidswaarden nul en nul en hetzelfde met één.
‫Nu deze monsters hier in de tegenovergestelde diagonaal.
‫Dit is dus van linksboven naar rechtsonder.
‫Voorbeelden waarbij onze modellen in de war raken, voorspellen in wezen een model waarbij het werkelijke
‫label nul is en vice versa.
‫Hier voorspelt het nul, waar het eigenlijke label een één is.
‫Nu gaan we een beetje meer visueel worden, want nogmaals, dit is voor mij.
‫We kunnen meer visueel gaan.
‫Ik weet niet of je dat misschien begrijpt, maar voor mij kijk ik graag naar mooie kleuren.
‫Dus laten we springen in de keynote.
‫Herinner ons eraan wat de anatomie van de verwarringsmatrix is.
‫We herinneren ons er niet aan.
‫Misschien ons even voorstellen.
‫Maar hier zijn we.
‫We hebben dus de juiste waarden op de diagonaal.
‫Rechtsboven worden waarden in een binaire klasse als fout-negatieven beschouwd.
‫Vakantie probleem.
‫Ik wil dat je hier ook rekening mee houdt, is dat onze verwarringsmatrix op dit moment alleen betrekking heeft op
‫twee klassen nul of één.
‫Deze verwarringsmatrix kan echter zo groot zijn als u wilt.
‫Maar zoals je je kunt voorstellen, als we heel snel van nul naar 100 gaan, wordt het misschien te groot, bijna te groot
‫voor ons om het te visualiseren.
‫Laten we Google heel groot maken.
‫We willen een echt grote verwarringsmatrix.
‫Laten we eens kijken hoe dit eruit ziet.
‫Oké, daar gaan we.
‫Ik zie je hier.
‫Dit is hoe een echt grote verwarringsmatrix eruit kan zien, en als je in feite groter kunt gaan
‫dan dat?
‫Moet je zien.
‫Dat zijn 90 lessen.
‫Dus ja, dit brengt me in verwarring.
‫Maar dit is, oh, dat is wat je wilt, idealiter.
‫Dat is de ideaal ogende verwarringsmatrix die diagonaal van linksboven links naar rechtsonder is gemarkeerd.
‫Nu, wat dacht je ervan om kleurrijk te worden zonder verwarringsmatrix?
‫Ik heb hier de grondtoon van wat hier aan de hand is.
‫Juist is linksboven naar rechtsonder.
‫Echte pluspunten.
‫Echte minpunten.
‫Rechtsboven is valse negatieven.
‫Met andere woorden, wat betekent dit?
‫Het model voorspelt nul dus negatief.
‫Wanneer de waarheid één is en we hebben linksonder de fout-positieven, en een fout-positief is een model,
‫voorspelt één.
‫Wanneer de waarheid nul is.
‫Ik laat je hier in je eigen tijd verder in duiken.
‫Laten we teruggaan om wat code te schrijven.
‫Nu is er een prachtige methode binnen Ketlen, die eigenlijk relatief nieuw is, dus laten we dit hier
‫even opschrijven.
‫Een verwarringsmatrix maken met CI Ketlen Dit is nu eigenlijk de tweede keer dat ik deze video opneem.
‫Waarom?
‫Want als ik deze video oorspronkelijk opnam, was er een andere methode binnen Ketlen, maar omdat deze
‫is bijgewerkt, wil ik de cursus zo up-to-date mogelijk houden.
‫We hebben de nieuwe versies.
‫Dit is binnen Ketlen 1. 0.
‫Dus om de nieuwe methoden te gebruiken.
‫Deze zijn dus nieuw op het moment van opnemen overigens.
‫Dus ik hield lijn 1. 0 kwam net uit.
‫Als u een verwarringsmatrix met socketlijn wilt maken, heeft u een verkleinde versie 1 nodig. 0 plus.
‫Dus ik wil dit omzetten in afwaardering.
‫Daar gaan we.
‫Dus laten we de socket-lijn opzoeken terwijl Kaylon installeert.
‫Ik laat je zien hoe je de nieuwste versie van Socket Line installeert.
‫Dus dit is deze webpagina hier.
‫Ik ga dat kopiëren als we hier komen, en ik zal dat daar nu neerzetten.
‫Prachtig.
‫Nu kunnen we controleren welke versie van de regel we gebruiken door te gaan importeren.
‫Misschien heb je al versie 1. 0, als je wilt, als je relatief recent socket line
‫hebt geïnstalleerd, en nogmaals, omdat je dit in de toekomst misschien als een willekeurige term ziet.
‫Maar we gaan gewoon controleren of de nieuwste versie wordt uitgevoerd.
‫Als we het echter willen upgraden, hoe kunnen we dat dan doen?
‫Laten we naar de terminal springen.
‫Hier is de map waar ik mijn notitieboeken van gebruik.
‫Dus als ik anders ga, gebruik ik deze ene Sectie twee datawetenschaps- en ML-tools.
‫Daar komt dit notitieboekje vandaan.
‫Ik heb de omgeving geactiveerd.
‫Ik ga die omgeving deactiveren.
‫Dus ten tweede, om clear te deactiveren.
‫Dus nu is dit alleen de map waar al mijn notitieboeken staan.
‫Dit is mijn omgeving die we ooit hebben gemaakt.
‫Als u een opfriscursus nodig heeft over het maken van een omgeving, kunt u daarop terugspringen.
‫Maar nu ga ik mijn omgeving activeren.
‫De punt hier staat voor Activeer de omgeving in de huidige map.
‫Dus de huidige map hier.
‫Als we dit nu allemaal schrappen om het wat verder uit te leggen.
‫Ik zie dat we daarmee zien.
‫Ik heb daar een omgevingsmap.
‫Dus dit betekent gewoon contact activeer punt en deze map hier, deze omgevingsmap, als we dat uitvoeren, dan wissen
‫we.
‫En als we nu willen upgraden, dus ik kan niet leren in deze omgeving waar we onze notebooks van de jouwe
‫gebruiken, kan het een beetje anders zijn dan mijn pad hier, maar laten we gewoon hierheen gaan.
‫PIP-installatie die u gebruikt, staat voor upgrade-socket.
‫Leer, dus we komen terug op terminal.
‫We zullen die pip install je socket Ketlen uitvoeren.
‫Omdat ik de nieuwste versie gebruik, staat er: Ja, daar gaan we.
‫Vereiste al up-to-date.
‫Dus toen ik dit eerder deed, gebruikte ik socket line-versie 0. 24 punt iets.
‫Maar toen heb ik er 1. 0 om dit nieuwe materiaal te maken.
‫Ik heb het dus al.
‫Nu, als u niet 1. 0, moet je die stappen doorlopen als je er al 1. 0 en dat ontdekte je
‫in je notitieboekje.
‫Nou, dan zou deze code voor jou moeten werken.
‫Als je er net 1 hebt geïnstalleerd. 0, moet u mogelijk de kernel van uw notebook opnieuw opstarten.
‫Ik ga dat niet doen, maar klik gewoon op Opnieuw opstarten en klik vervolgens op Alles uitvoeren, en u wilt al deze
‫cellen opnieuw uitvoeren.
‫Importeer de site, Ketlen, de nieuwste versie opnieuw en zorg ervoor dat je er 1. 0 hier voordat u deze volgende set
‫code uitvoert.
‫Dus laten we nu omhoog kijken.
‫Skyline Confusion Matrix En hier gaan we de nieuwe methoden vinden die zijn geïntroduceerd of nieuwe klassen en methoden
‫die zijn geïntroduceerd in 1. 0 verwarringsmatrixweergave van schatting.
‫Prachtig.
‫Dit is dus waar ik het over heb.
‫Dit is voor mij kleurrijker en we zien dat het groen of geel van de tegel is.
‫Het betekent dat hoe meer waarden er zijn en hoe donkerder de tegel.
‫U kunt deze standaardkleuren desgewenst wijzigen.
‫Trouwens, als je gewoon door de documentatie op het dok van de tegel gaat, betekent dat hoe minder waarden er
‫zijn.
‫Dus laten we dit repliceren voor onze gegevens.
‫En hier zijn twee versies van.
‫We hebben Skyline Metrics Confusion Matrix-display, twee versies.
‫Een is van schatter en een is van voorspellingen.
‫We gaan deze beide bekijken.
‫Dus als u een sprong vooruit wilt maken, kunt u naar deze documentatie gaan, op elk van deze methoden klikken
‫en het zelf uitproberen.
‫Maar laten we het in actie zien.
‫We gaan van Skyline Dot Matrix Import Confusion, Matrix Display.
‫Oké, dus dat is de algemene klas.
‫En dan gaan we die klasse-verwarringsmatrix-weergavepunt vanaf schatting gebruiken.
‫Nu kun je raden wat hier in gaat als je een getrainde schatter of een passende schatting nodig hebt.
‫In ons geval is onze huidige schatting klif.
‫We typen hier zelf willekeurige bosclassificatie in en dan is X nodig, wat in ons geval X is en
‫dan Y, X en Y.
‫Dus laten we eens kijken wat hier uitkomt.
‫Daar gaan we.
‫We krijgen een mooi perceel.
‫Wat is het verschil tussen wat we hier hebben?
‫Y Test Y Preds versus X en Y?
‫Ten eerste hebben we veel meer waarden.
‫Dat komt omdat we de volledige X-gegevens en de volledige Y-gegevens doorgeven.
‫En als we hier naar de doc-string kijken, tabblad Chef, wat hebben we nodig om onze schatting van X Y
‫te schatten?
‫Dan hebben we hier een paar verschillende opties, zoals labels voorbeeld wit normaliseren.
‫Ik zal je de documentatie laten lezen om te zien wat die doen.
‫In wezen is het aanpassen van hoe de plot eruit ziet als deze uitkomt.
‫Een schatting is dus een schatting, bijvoorbeeld een gepaste classifier of een gepaste schaalklasse eigen pijplijn waarbij de
‫laatste schatting een classifier is.
‫Wat is onze schatting?
‫Het is een willekeurige bosclassificatie.
‫Laten we nu eens kijken naar de andere versie van de Confusion Matrix-weergave, de andere methode die
‫ermee samenhangt vanuit voorspellingen.
‫Het verschil hier is dat van voorspellingen y waar is en y verspreid, net zoals het tabblad Al Cross eerder.
‫Er is dus geen schatting.
‫Dit betekent dus dat je voorspellingen klaar moet hebben om te gaan.
‫Terwijl u in de andere versie van schatting een verwarringsmatrix kunt maken zonder voorspellingen die klaar zijn om te gaan.
‫Dus het maakt de voorspellingen voor, je weet wel, laten we zeggen, verwarring, matrix toont stip van voorspellingen en we gaan naar binnen of
‫laten we de doc-string zien, hier hebben we waarom waar en waarom Fred zo waar is wat onze
‫testlabels zijn en waarom is Pred gelijk aan?
‫We hebben onze voorspellingen genoemd.
‫Waarom Pred?
‫Laten we eens kijken hoe deze verwarringsmatrix eruitziet.
‫Prachtig.
‫Veel beter, kleurrijker.
‫Je bent misschien niet meer de grootste fan van die kleuren als je ze wilt veranderen.
‫Kijk, de documentatie is een hele reeks verschillende manieren waarop u deze kunt aanpassen.
‫Dit is een meer visueel aspect dan wat we hier hebben gekregen.
‫Het geeft aan dat alle drie dezelfde gegevens weergeven.
‫Deze hier, deze hier en deze hier.
‫Maar ze hebben alleen maar toenemende niveaus van visualisatie, wat vaak erg handig is om te begrijpen wat er aan de hand
‫is.
‫Dus dat is het voor verwarringsmatrices.
‫Het zijn zeer, zeer, zeer visuele manieren om te zien hoe uw getrainde classifiers het doen.
‫Als je van anatomie houdt, kun je de dia hier vinden.
‫Anders zie ik je in de volgende video.
‫Laten we onze modellen blijven evalueren.