‫Dus de uiteindelijke evaluatiemaatstaf van het classificatiemodel waar we naar gaan kijken, is een
‫classificatierapport en nu is een classificatierapport eigenlijk ook een verzameling van verschillende evaluatiestatistieken in plaats van
‫een enkele.
‫Dus daar komt het rapport vandaan.
‫Het is een soort verslag van een aantal verschillende parameters die ons classificatiemodel evalueren.
‫Laten we er een in actie zien, dus van een soort Matrix Import Classification Report van České.
‫Om het te doen, poneren we enkele echte labels, OK, waarom testen en enkele voorspellingen?
‫Dus nogmaals, deze evaluatiestatistiek vergelijkt gewoon de echte labels op onze gegevens met de voorspellingen die ons model
‫heeft gedaan.
‫Dus laten we kijken wat hier gebeurt.
‫Oke.
‫Er zijn nogal wat dingen aan de hand, we hebben nauwkeurige terugroepacties, we hebben één schoolondersteuning, nul, misschien is
‫dat voor de klas nul vier, geen hartziekte één.
‫Misschien is dat voor hartaandoeningen.
‫Als we uitkomen op een nauwkeurigheid van vijfenzeventig macrogemiddelde.
‫Gewogen gemiddelde.
‫Hm.
‫Wat is hier aan de hand?
‫Laten we naar onze Keano gaan, eens kijken naar ons classificatierapport anatomie.
‫Dus hier zien we dat je hetzelfde hebt, importeer het classificatierapport.
‫We hebben er een gedaan op de testlabels en de voorspellingen.
‫Hier wat iets andere cijfers.
‫Wat staat er in ons notitieboekje?
‫Maar dat is oke.
‫Dus wat precisie of precisie is, geeft het aandeel positieve identificaties aan, dus a. k. A. het model
‫voorspelde Klasse Een, die eigenlijk correct waren.
‫Nu een model dat geen valse positieven produceert als een precisie van één.
‫Dus dat is wat we kunnen zien, onze precisiescores als het model geen valse positieven produceerde.
‫En we weten dat ons model dat niet heeft gedaan, omdat we naar de classificatie van de verwarringsmatrix hebben gekeken en
‫we hebben gezien dat het bij sommige voorbeelden verward is, en het heeft ze voorspeld als valse positieven.
‫Onze precisiescores zijn dus iets lager dan één.
‫Nu is de volgende herinnering.
‫Dus recall geeft het aandeel van de werkelijke positieven aan die correct werden geclassificeerd.
‫Een model dat geen valse negatieven produceert, heeft een terugroepactie van één punt nul.
‫En nogmaals, we weten uit onze verwarringsmatrix dat dit niet het geval is.
‫Dus onze terugroepactie is iets lager.
‫Nu scoort F1 een combinatie van precisie en haalt een perfect model een F1-score van één punt nul.
‫Oké, dus als we zien dat onze F1-score niet één punt nul is, maar het is nog steeds relatief hoog als we
‫gaan supporteren.
‫Het aantal steekproeven waarop elke statistiek is berekend, zie je hier.
‫Dus dit betekent dat we naar deze 29 kijken, dus we kijken naar dat, dat is vier nul hier beneden op 61.
‫Dus dat betekent dat deze statistieken hier zijn berekend op 61 verschillende steekproeven.
‫En deze statistieken hier zijn berekend op 29 monsters, die het klasselabel nul hadden, en dat deze
‫32 is met het klasselabel één AK heeft een hartziekte.
‫Dus als je deze optelt tot negenentwintig plus 32, krijg je 61, je weet wel, nauwkeurigheid.
‫Dat hebben we eerder gezien.
‫Dit is gewoon de nauwkeurigheid van het model in decimale vorm, perfecte nauwkeurigheid is 1. 0, een. k. A. ons model
‫maakt voorspellingen 100 procent van de tijd juist.
‫Als de nauwkeurigheid 1 is. 0, dan kijken we naar het macrogemiddelde.
‫Nu, wat is dat kort voor macro-gemiddelde, zoals je misschien al geraden hebt.
‫Het is dus de gemiddelde precisie-oproep en F1-scores tussen klassen.
‫De sleutel hier is dat het macro-gemiddelde geen rekening houdt met klasse en dat er rekening moet worden gehouden met de balans.
‫Dus doe alsof dit een account is.
‫Dus als je klassenonevenwichtigheden hebt, let dan op deze statistiek.
‫OK, dus in ons geval, wat betekent het klassenonevenwicht?
‫Als je naar ons voorbeeld kijkt, hebben we hier geen klassenonevenwichtigheden.
‫Waarom is dat?
‫Nou, omdat we relatief hetzelfde aantal samples hebben met Class Zero en Class One, wat betekent dat we hier ongeveer
‫50/50 verdeeld zijn.
‫Het is niet precies 50/50, maar het is niet zo dat we 60 voorbeelden van klasse één en één voorbeeld van klasse nul
‫hebben.
‫Dus we hebben er ongeveer 30 in elk.
‫Dus als je klassenonevenwichtigheden had, wil je nu echt je macrogemiddelde bekijken?
‫Omdat ons voorbeeld, de klassen relatief evenwichtig zijn.
‫Dat is de reden waarom het macrogemiddelde en het gewogen gemiddelde tekortgewogen gemiddelde van het gewogen gemiddelde een precisieherinnering
‫is en de F1-score tussen gewogen klassen betekent dat elke metriek wordt berekend met betrekking tot
‫het aantal monsters in elke klasse.
‫Dus deze statistiek zal de meerderheid bevoordelen.
‫Klasse geeft bijvoorbeeld een hoge waarde wanneer de ene klasse beter presteert dan de andere omdat er meer steekproeven zijn.
‫Dit is de reden waarom onze waarden hier vrij gelijkaardig zijn, omdat we balansklassen hebben.
‫Nu denk je misschien: wat voor soort situatie zou het zijn dat deze waarden niet
‫kloppen?
‫Rechts.
‫Waar zou dit gebeuren?
‫En je zou ook kunnen denken dat we hier een heleboel verschillende statistieken hebben geleerd.
‫We komen terug bij ons notitieboekje.
‫We hebben classificatierapporten doorgenomen, we hebben verwarring, matrix, nauwkeurigheid gedaan.
‫We hebben de oppervlakte onder de ROC-curve gedaan.
‫Dus wanneer moet ik elk van deze gebruiken?
‫Dus nu hebben we ze een beetje doorgenomen.
‫Het is misschien verleidelijk om te denken, waarom gooi ik niet gewoon al die andere weg
‫die ik echt moeite heb om te begrijpen en gebruik gewoon nauwkeurigheid?
‫Nou, laten we een voorbeeld nemen.
‫Laten we eens kijken wanneer andere statistieken een rol gaan spelen.
‫En misschien moet je niet alleen nauwkeurigheid gebruiken, want dit is een val waarin ik verstrikt ben geraakt.
‫Toen ik voor het eerst classificatiemodellen begon te bouwen, had ik zoiets van, ja, mijn model krijgt een nauwkeurigheid van
‫90 plus procent.
‫Het moet een geweldig model zijn.
‫Laten we een scenario bekijken.
‫Laten we bijvoorbeeld zeggen dat er 10.000 mensen waren en een van hen had een ziekte en je wordt gevraagd een model
‫te bouwen om te voorspellen wie het heeft.
‫Oke.
‫Laten we dat dus ook echt doen.
‫Laten we dit volhouden.
‫Dit is dus waar precisie en terugroepactie waardevol worden.
‫En in feite worden alle statistieken in ons classificatierapport hier waardevol.
‫Ziekte dus, dat is waar.
‫Er waren dus 10000 mensen en een van hen had een ziekte.
‫Dus wat we zouden kunnen doen is een imperium van 10000 mensen creëren en dan kunnen we er een van veranderen.
‫Ik kan ziekte spellen.
‫Het is een ziekte nulde index is gelijk aan één, dus er is maar één positief geval.
‫Als we dan hierheen komen en zeggen dat ons model voorspelde of ziekteverspreiding gelijk is aan en nu
‫10000 is, betekent dit dat het model elk geval als nul voorspelt.
‫Oke.
‫En wat we dan gaan doen, is het dataframe maken, zodat we dit classificatierapport kunnen visualiseren. Wat als ons model
‫dat deed?
‫Rechts.
‫Dit is wat hier gebeurt.
‫Ziekte, waar.
‫Er is dus maar één positief geval, één op de 10.000.
‫En we bouwen een model en ons model voorspelt dat elk afzonderlijk geval nul is.
‫Dus het mist die ene voorspelling.
‫Wat zou er gebeuren als we een classificatie bouwen?
‫Meldingen van een homoziekte.
‫Waar.
‫We zijn hierheen gekomen.
‫Ziekte verspreidt zich.
‫Ik wil deze kleine parameter doorgeven zodat het mooi in een dataframe past, dus output dict is gelijk aan.
‫Dus.
‫Wat gebeurt er hier?
‫We kijken hiernaar, dit is gewoon een ander formaat van dit classificatierapport hier als we dit niet hebben
‫gedaan.
‫Het zou luchten, dus dit is alleen om te visualiseren wat er aan de hand is, waar.
‫Dit is dus een goed voorbeeld van waar je een andere metriek dan nauwkeurigheid wilt gebruiken, wanneer
‫je een zeer grote klassenonbalans hebt.
‫Dus in ons geval hebben we een enorme klassenonbalans omdat in onze oorspronkelijke dataset, ziekte gelijk
‫is aan waar, slechts één voorbeeld is.
‫Dus slechts één voorbeeld van waar de arbeid zou worden gewonnen en al het andere is nul.
‫We hebben een model gebouwd dat voor elk geval nul voorspelt.
‫Juist, want het zijn maar één monsters.
‫Het is echt moeilijk om te leren dat er een patroon is voor dit ene specifieke geval.
‫Dus wat er gebeurt, is dat als we alleen de nauwkeurigheid zouden meten op ons model dat voor alles nul is voorspeld,
‫het uitkomt met een nauwkeurigheid van nul komma negen negen of met andere woorden, 99 procent.
‫En vraag jezelf dus af, hoewel het model negenennegentig komma negen negen procent nauwkeurig is, is het model dan
‫nog steeds bruikbaar?
‫Rechts.
‫Daarom kijken we naar deze andere statistieken, zoals het macrogemiddelde, dat is waar we kunnen
‫zeggen, OK, onze modellen vallen hier op de positie.
‫Het krijgt eigenlijk nul precisie voor klasse één, wat logisch is omdat het klasse één niet
‫eens voorspelde.
‫En hier wordt het in principe 100 procent op Klasse nul omdat het alleen klasse nul heeft voorspeld.
‫Dit is dus een soort gebruiksscenario waarbij u zeker wilt weten dat u een
‫breed spectrum aan evaluatiestatistieken gebruikt voor uw classificatiemodellen en niet alleen nauwkeurigheid.
‫En nu hebben we het nog maar net gehad over enkele van de statistieken die u kunt gebruiken voor het evalueren van
‫een classificatie-algoritme, maar er zijn er nog een paar.
‫Dus als je meer wilt zien, dus we gaan hier, modelevaluatie, Saikat leren.
‫We zullen de documentatie bekijken.
‫Als je hier binnenkomt, is dit een beetje extra curriculair om deze sectie hier te bekijken.
‫Dus alles wat ik heb gedaan, is de documentatie van de socketlening ingegaan voor modelevaluatie.
‫We komen tot classificatie.
‫We kunnen er hier een paar zien, degenen die we hebben behandeld.
‫En dus degene die we hebben behandeld, zijn waarschijnlijk het absolute minimum dat je wilt gebruiken, toch?
‫Dus nauwkeurigheidsgebied onder de rotscurve of je ziet verwarring, matrix en classificatierapport.
‫Bewaar die dus in je gereedschapstas.
‫En als u meer nodig heeft, raadpleeg dan de documentatie.
‫Dus dat gaat onze classificatiespecifieke evaluatiestatistieken afronden.
‫Laten we in het volgende gedeelte duiken.
‫We zullen enkele meer specifieke evaluatiestatistieken van het regressiemodel bekijken.