‫Prachtig.
‫We hebben gezien hoe we snel een idee kunnen krijgen van hoe onze machine learning-modellen
‫het doen en deze evalueren met behulp van de scoremethode, en dat zal een standaard
‫evaluatiestatistiek opleveren, afhankelijk van het probleem waaraan we werken in regressie, het rendement, de determinatiecoëfficiënt en in classificatie, retourneert het
‫de belangrijkste nauwkeurigheid.
‫Als u echter verder op een probleem ingaat, wilt u waarschijnlijk krachtigere statistieken gaan gebruiken om de
‫prestaties van uw model te evalueren.
‫En dus is de volgende stap na het gebruik van score natuurlijk het gebruik van een aangepaste scoreparameter.
‫Dus als we hier zien, hebben we gekeken naar deze ene schatting, een scoremethode, en
‫nu gaan we kijken naar het gebruik van een scoreparameter, modelevaluatietools, het gebruik van kruisvalidatie, of we moeten misschien kijken wat
‫dat is.
‫Dus laten we erin duiken.
‫Wat we gaan doen is dit uit te werken.
‫Nu zul je geduld met me moeten hebben voor de volgende paar video's, want we gaan hier een behoorlijk stuk behandelen.
‫De reden hiervoor is dat het evalueren van een machine learning-model zo'n belangrijke stap is.
‫Het is één ding om een fit-functie aan te roepen voor sommige gegevens, maar het volgende belangrijkste is:
‫hey, werkt dat model echt?
‫Leert het iets?
‫Kunnen we dat gebruiken om de toekomst te voorspellen?
‫En daarom zorgen we ervoor dat we hier veel terrein bestrijken.
‫Dus laten we beginnen.
‫Wat we gaan doen is van Escalon gaan, geen modelselectie, Crosswell-score importeren.
‫En zoals altijd gaan we eerst de code uitvoeren voordat we ingaan op wat er werkelijk aan de hand is.
‫En wat we wel nodig hebben, is een classificatiecode.
‫Dus wat we gaan doen, we kunnen dit kopiëren.
‫Je mag dit trouwens kopiëren, want we hebben er al een paar keer in geschreven.
‫Het enige wat hier anders is dan wat we hebben gedaan, is dat we de Crossville-score hebben geïmporteerd uit
‫de Saikat-leningenmodelselectie.
‫Nu, het volgende dat we gaan doen omdat we fit daar hebben genoemd, willen we een kleine puntkomma plaatsen
‫zodat we geen grote output krijgen.
‫Weet je wat?
‫Deze waarschuwing blijft komen, dus we kunnen dat gewoon blijven veranderen en schatten als gelijk aan 100.
‫Prachtig.
‫En dus Crossville score, het heeft het woord score erin, maar we hebben gezien wat deze Crossville doet?
‫Laten we eens kijken of we onze score gaan bekijken.
‫We gaan eerst de testgegevens doen, zodat we kunnen vergelijken en dan doen we hetzelfde.
‫Maar deze keer neemt het gebruik van Crossville Score, Crossville Score en Crossville Score onze classificatie.
‫Er zijn X-gegevens voor nodig en de Y-gegevens, niet de test.
‫En niet de trein.
‫We zullen zo zien wat er aan de hand is.
‫Oh, wat hier en weer gebeurt, we krijgen nog een waarschuwing, dit wil alleen maar zeggen dat
‫de standaardwaarde van C. V verandert van drie in vijf.
‫Dus als we naar dit shift-tabblad kijken.
‫Laten we de doctrine lezen, een score evalueren door middel van kruisvalidatie wat zelfs kruisvalidatie is, en
‫dus C. V gaat ons een waarschuwing geven.
‫Hier komt die waarschuwing vandaan.
‫Als we dit veranderen van C. V Eagles', is de standaard drie.
‫Als we het veranderen in vijf, verdwijnt die waarschuwing en krijgen we een array terug
‫van vijf verschillende scores.
‫Hm.
‫Dus dat is waarschijnlijk het eerste verschil dat je zult opmerken.
‫Crossville-score retourneert een array, terwijl score slechts één getal retourneert.
‫Oké, dus hoe kunnen we dit achterhalen?
‫We moeten uitzoeken wat kruisvalidatie is, want dat is tenslotte wat Crossville Score doet,
‫terugkomen in de dokreeks.
‫Evalueer een score door ongelukkige kruisvalidatie.
‫Hier is iets dat ik eerder heb voorbereid om te demonstreren, en zoals altijd begrijp ik dingen visueel beter.
‫U kunt hetzelfde doen om aan te tonen wat kruisvalidatie doet.
‫Dus wat we eerder hebben gedaan in onze normale trainingstestspalk, dus we splitsen onze gegevens op in training, zodat dit een
‫verblijf kan zijn.
‫We begonnen met 100 patiëntendossiers.
‫We zouden het opsplitsen in een trainingssplitsing.
‫In ons geval hebben we 80 procent gebruikt en dit zou X-trein en Y-trein 80-monsters bevatten.
‫En ik heb hier het getal 100 gebruikt.
‫We hebben echt meer dan dat.
‫Maar dit komt alleen omdat de cijfers hier visueel beter uitkomen.
‫En in onze testgegevensset hebben we 20 procent van de gegevens die X-test en Y-test zouden bevatten.
‫Het verschil hier met kruisvalidatie en in ons geval toont deze afbeelding hier vijfvoudige
‫kruisvalidatie.
‫Waar je waarschijnlijk naar verwijst bij kruisvalidatie, is K fold, waarbij K een willekeurig getal is.
‫En de reden waarom we er vijf gebruiken, is omdat we hier terug zijn.
‫C. V is daar gelijk aan vijf.
‫Dat staat dus voor kruisvalidatie.
‫En dit is waar ik het over heb, onze gegevens opsplitsen in training en testen met 20 procent voor
‫de testsite.
‫Dus dat betekent natuurlijk dat de andere 80 procent naar de trainingsgegevens gaat, waar deze kleine splitsing
‫hier vandaan komt.
‫Wat kruisvalidatie doet, is dat het vijf verschillende splitsingen doet, dus het zal de eerste 20 procent gebruiken.
‫Dus je ziet hoe dit hier een soort van gebruik maakt van de laatste tabel, 20 procent hier.
‫Dus het zal hier een testgegevensset en hier een trainingsgegevensset maken.
‫Dan ga ik hierheen en gebruik dit als de testdataset en dan nog een keer.
‫En opnieuw en opnieuw.
‫Dus wat er gebeurt, is dat kruisvalidatie vijf verschillende versies van het model traint en vervolgens evalueert
‫het dat die modellen getraind zijn op elke trainingsgegevens op vijf verschillende versies van de testgegevens.
‫Dus wat is het doel hiervan?
‫Nou, zoals je je kunt voorstellen, als we maar één model trainen, zou het een gelukkige splitsing kunnen zijn zoals, laten we zeggen, dit, 80 procent
‫van de rijen zegt dat er een hele hoop informatie in het model zat, was in staat om
‫heel goed te leren op deze tachtig rijen, op deze 80 patiëntendossiers.
‫En toen kreeg hij een hele goede score op deze testset.
‫Is dat een juiste weerspiegeling van hoe ons model de gegevens zou begrijpen of de patronen in de gegevens zou
‫ontdekken?
‫Nou, niet echt juist.
‫Omdat het gewoon geluk is, toch?
‫Als we dit willekeurig opsplitsen en op de een of andere manier zijn er een aantal gemakkelijke patiëntendossiers binnengekomen en de modellen
‫hebben bepaalde patronen ontdekt en het is naar hier gegaan.
‫Deze test dataset en scoorde een geweldige score.
‫We kunnen onszelf voor de gek houden.
‫We zouden onszelf voor de gek kunnen houden door te denken dat ons model veel beter is dan wat het in werkelijkheid is.
‫Dus daar komt kruisvalidatie om de hoek kijken.
‫Het is bedoeld om een oplossing te bieden om niet op alle gegevens te trainen en te voorkomen dat u die geluksscores
‫krijgt op slechts een enkele splitsing van gegevens, zodat er vijf verschillende splitsingen ontstaan.
‫Dus wat er ook gebeurt, ons model zal op alle gegevens trainen en op alle gegevens
‫evalueren.
‫En dit is de reden waarom als we terugkomen.
‫Om de Crosswell-score te zien, geeft het ons hier vijf verschillende scores terug.
‫Oh, dus dat begint logisch te worden als we de scoreparameter alleen op onze testgegevens noemen.
‫En nu waarom testgegevens één school gaan teruggeven.
‫Maar als we Crossville-score noemen omdat we hier terugverwijzen naar de afbeelding, dan worden er vijf
‫verschillende splitsingen.
‫En onthoud, vijfvoudig is slechts een willekeurig getal.
‫Je zou het tienvoudig kunnen doen, je zou het drievoudig kunnen doen.
‫Je zou zelfs een 100 vouw kunnen doen.
‫Maar vijfvoudig is de standaardinstelling van de bibliotheek.
‫Het is meestal redelijk goed, afhankelijk van de grootte van uw gegevens.
‫Dus we zullen Five-fold gebruiken om hier te demonstreren.
‫Om het je te bewijzen, kunnen we hier naar binnen gaan, Crosswell School en 10 doen.
‫Dus dit betekent dat het gewoon tien verschillende splitsingen gaat maken, precies hetzelfde als dit.
‫En retourneer dan 10 verschillende scores.
‫Dus je zegt hier, dit is een geweldig voorbeeld van een deel één, het moet punt negen scoren.
‫Dus dat kan 90 procent zijn, wat hier hoger is.
‫Maar bij een lichtere verdeling, heeft het iets veel lagers, 72.
‫Dus wat we hier doen, is een meer ideale prestatiemaatstaf of evaluatiemaatstaf voor ons model bedenken, namelijk dat
‫we het gemiddelde van deze vijf scores kunnen nemen.
‫Laten we het zien gebeuren.
‫We doen het allemaal in één cel, willekeurig zaadje.
‫En wat we gaan doen is een enkele training en testscore halen.
‫Ik ga ervoor zorgen dat ik een enkele score zie en ga kijken of ik de school X-test heb verlaten.
‫Het gaat hier dezelfde gegevens gebruiken.
‫Waarom testen?
‫Prachtig.
‫En dan gaan we naar Mane of Five-fold cross-validatie school.
‫Zelf cross school is gelijk aan ENPI main, dan hebben we cross school X nodig, oh nee, die moeten we halen.
‫Onze classificatie X, Y en we gebruiken CV is gelijk aan vijf en dan.
‫Vergelijk de twee.
‫Dus we gaan een live single zien.
‫Score en dan Silver Cross Valley score.
‫Dus wat zien we hier?
‫Nou ja, in ons geval.
‫Onze originele enkele score, die nu hier beneden staat, is exact hetzelfde getal,
‫omdat we een willekeurig zaadje gebruiken, met dezelfde testgegevens, onze enkele score is nul komma acht vijf.
‫Maar als we kruisvalidatie gebruiken, als we vijf splitsingen gebruiken omdat S. V. gelijk is aan vijf, krijgen we een score
‫van punt acht twee.
‫Dus iets lager.
‫Maar als u in dit geval wordt gevraagd om de nauwkeurigheid van uw model te rapporteren, ook al
‫is deze lager, geeft u de voorkeur aan de metrische gegevens voor kruisvalidatie boven de niet-kruisvalidatiestatistieken.
‫Wacht eens, we hebben de scoreparameter nog niet eens gebruikt.
‫Nou, dat komt omdat het standaard is ingesteld op geen.
‫Laten we eens kijken naar de scoreparameter die is ingesteld op geen.
‫Standaard is het een record Crossville school sealife, x, y CV, we kunnen hier scoren en er wordt tegen niemand
‫gezegd.
‫Dus als we hierin veranderen, hoe weet ik dit dan?
‫Gelukkig komt de doktersbehandeling goed van pas.
‫C is standaard ingesteld op geen.
‫Dus als we naar beneden blijven scrollen.
‫Misschien onze notebook, dus scorende string kan worden opgeroepen op geen, optionele standaard, geen.
‫Oh, OK, een string zie modelevaluatiedocumentatie.
‫Dat hebben we hier moeten opzoeken.
‫Of een globale objectfunctie van Sakurako met een kenmerkende score, een schatting van x
‫Y, die slechts een enkele waarde zou moeten retourneren als er geen is, de schatting is de standaardscorer indien beschikbaar.
‫Oke.
‫Dit is waarom we weten dat dit nauwkeurigheid is, want als de
‫scoreparameter van Crossville-score geen is, gebruikt deze in ons geval de standaardscoreparameter van onze schatting.
‫Wat is het?
‫De
‫foutscoreparameter van de gemiddelde nauwkeurigheid van classifier eagles en waar hebben we dat eerder gezien?
‫We zagen dat in de laatste video toen we met school stopten en we op de shift-tab-returns drukten om de nauwkeurigheid van de geef- en testgegevens
‫en het label te betekenen.
‫Dus dat betekent dat wanneer we de score op geen hebben ingesteld, het de standaard evaluatiestatistiek gaat
‫gebruiken voor kruisvalidatie op onze classificatie.
‫Dus als we op shift drukken en enter.
‫Zal dezelfde waarden retourneren of kan iets anders zijn, juist, omdat we geen stoel in
‫deze cel hebben ingesteld.
‫Deze waarden zullen dus anders zijn dan de Crossville-school die we daarbuiten zien.
‫Als we het hier hadden ingevoerd, hadden we vergelijkbare waarden gezien.
‫Wat hebben we hier behandeld?
‫Zoals je misschien al geraden had, kan de scoreparameter worden gewijzigd, dus we kunnen, zoals
‫de psychiater zegt, onze eigen scoreparameter hier importeren.
‫We kunnen dit veranderen in iets anders dan niets.
‫Dat is wat we gaan behandelen en we gaan in
‫de volgende paar video's kijken naar enkele andere evaluatiestatistieken voor classificatiemodellen die we kunnen gebruiken met kruisvalidatie.
‫En waarom gebruiken we dan kruisvalidatie?
‫Nou, zoals we zagen.
‫In de afbeelding is kruisvalidatie bedoeld om het probleem op te lossen dat u niet op alle gegevens traint, toch?
‫Dus we maken vijf modellen en uiteindelijk hebben we een model getraind op alle gegevens en voorkomen we dat
‫we geluksscores krijgen.
‫Dus trainen op een enkele split en dat zagen we in actie.
‫Met onze single split-score die hier een iets hogere score krijgt dan onze cross-validatiescore.
‫Nou, dat is nu de wet.
‫We hebben nog wat te gaan.
‫Laten we een aantal diepgaande classificatiestatistieken uitvoeren.
‫Ik zie je in de volgende video.