‫Welkom terug.
‫Laten we nu eens kijken naar de derde manier om paranormaal geleerde modellen te evalueren, en als
‫we terugspringen in de documentatie, zijn dat echte metrische functies.
‫Specifiek, het heeft koloniale metrieken geleerd en we hebben classificatiestatistieken waarvan we de nauwkeurigheid zien scoren hoe
‫we precisie hebben gekregen.
‫We hebben er al eerder een paar gezien, wat een verwarringsmatrix voor classificatierapporten is.
‫Daar gaan we.
‫Precisie Score Herinneringsscore.
‫En dan hebben we hetzelfde weer voor regressiestatistieken.
‫We hebben er hier een paar.
‫Gemiddelde absolute fout.
‫Gemiddelde kwadratische fout.
‫Ik heb de uitdaging in de laatste video uitgegeven.
‫Oh, daar zijn onze twee punten.
‫Hallo.
‫Er moesten er een paar worden uitgeprobeerd op de problemen waar we tot nu toe aan hebben gewerkt.
‫Ik hoop dat je dat geprobeerd hebt, want dat is de beste manier om zelf te beginnen met oefenen door
‫gewoon de documentatie te verkennen, wat code te schrijven, wat fouten te maken en vervolgens te kijken hoe je ze kunt oplossen.
‫Laten we nu een kleine kop opschrijven met behulp van verschillende evaluatiestatistieken als socketleningsfuncties,
‫en we gaan hierheen.
‫De derde manier om socket learning machine learning-modellen te evalueren, aangezien ze de geschatte term gebruiken
‫die ik graag modelleer, is door de Line Dot Matrix-module te gebruiken, en dan zullen we de documentatie daar koppelen en
‫dat omzetten in markdown.
‫Mooi.
‫Laten we beginnen met het schrijven van wat code.
‫We beginnen met ons classificatieprobleem.
‫We zetten de S Dot Matrix Import Nauwkeurigheidsscore op.
‫We krijgen de nauwkeurigheid.
‫We krijgen de precisiescore en we krijgen de terugroepscore.
‫En misschien, misschien is dat genoeg.
‫Of wat als we ook F1 doen?
‫Waarom niet?
‫We zullen daar een beetje volledigheid hebben, en dan zullen we een model krijgen.
‫Dus van Skyline Dot Ensemble willen we de willekeurige bosclassificatie importeren.
‫En wat moeten we dan nog krijgen?
‫Nou, we kunnen net zo goed proberen te splitsen, waarom?
‫Waarom doen we dat niet vanuit de Caitlin Typekit-modelselectie?
‫We lopen de hele workflow nog eens door: selecteren, importeren, trainen, testen, splitsen.
‫En daarom wil ik dat je dit probeert.
‫Maak X en Y.
‫Dan zou ik graag willen dat u de gegevens splitst en een Model Y-fit-model maakt en vervolgens het model evalueert met behulp van
‫evaluatiefuncties.
‫Dus degene die we hier zojuist hebben geïmporteerd, dus je hebt wat voorspellingen en bekijk de doc-string hiervan als
‫je wilt achterhalen wat ze zijn.
‫Dit zijn slechts de belangrijkste classificatiestatistieken die we hebben behandeld.
‫Nauwkeurigheid, precisie terugroepen en F1.
‫Er zijn er hier natuurlijk nog een paar voor classificatie als je er nog meer wilt bekijken.
‫Spring alstublieft in de documentatie.
‫Ik deel slechts enkele van degenen die je het vaakst zult zien.
‫Idem voor regressie.
‫Er zijn er hier nogal wat meer dan we hebben behandeld.
‫Als u meer wilt lezen, kunt u nu de documentatie raadplegen.
‫Ik zal je dat een kans geven om dat in de tussentijd in te vullen.
‫Zullen we ons klaarmaken om er ook een te doen voor regressie?
‫Van Skylon Dot Matrix Import A2 Score, dit is de determinatiecoëfficiënt.
‫Belangrijkste absolute fout.
‫De belangrijkste waarde van hoe verschillend de voorspellingen van uw model zijn ten opzichte van de werkelijke waarden, de gemiddelde kwadratische fout, de gekwadrateerde
‫waarde van de voorspellingen van uw model of de fout van de voorspellingen van uw model in vergelijking met
‫de werkelijke labels.
‫En dan gaan we scalair krijgen en we krijgen de ensemble-module en we zullen onze trouwe
‫willekeurige bosregressie importeren.
‫En we zullen ook krijgen, we zullen hetzelfde krijgen als hierboven.
‫Je hoeft dit niet altijd te schrijven omdat het al is geïmporteerd, maar elk van deze stukjes code blijft
‫gewoon staan.
‫Ik ga dit naar beneden kopiëren en hier wordt het exact dezelfde soort lay-out.
‫Dat is het mooie van deze Typekit-lijnbibliotheek, dat een groot deel van de workflow vergelijkbaar is, afhankelijk van het
‫probleem waaraan u werkt.
‫Dus je kunt de video hier pauzeren, probeer deze beide in te vullen.
‫Zo niet, dan gaan we over drie seconden verder, drie tegen één.
‫Ik hoop dat je het een kans hebt gegeven.
‫Laten we ze nu samen doen.
‫Dus we moeten X maken en Y kan beginnen.
‫Dit is iets wat ik hier eigenlijk heb gemist.
‫Willekeurige scène en we gaan. X is gelijk aan hartziekte.
‫We hebben dit nu een paar keer gedaan, maar zullen het doel op de eerste as laten vallen en
‫dan zullen we y gelijk stellen aan de doelwaarde hartziekte doel.
‫Gesplitste gegevens kijken of we dit kunnen doen door Heart X Train X-test komt eerst.
‫Het kostte me een tijdje om die volgorde te leren, maar onthoud eerst X-waarden, probeer
‫en test, dan Y-waarden treintest, treintest splitsen.
‫We gaan X en Y splitsen.
‫Onthoud dat dit het slechts voor één splitsing gaat splitsen in plaats van wat we eerder zagen, wat
‫kruisvalidatie was.
‫Het opsplitsen in eindsplitsingen of splitsingen is een term die vaak wordt gebruikt. Het zou drie K kunnen zijn, twee K kunnen zijn, 10
‫K zou vijf kunnen zijn.
‫Het passeren van de willekeurige bosclassificatie.
‫We laten het hierbij.
‫De standaardparameters passen bij het model op de trainingsgegevens, gespleten passen op X-trein Y-treinkenmerken en
‫labels.
‫Nu gaan we het model evalueren met behulp van evaluatiefuncties.
‫Wat je echter misschien hebt gevonden, is iets anders dat ik heb gemist.
‫Dus misschien heb ik dit opzettelijk gedaan.
‫Classificatiestatistieken op de testset geven aan hoe u deze functies nu specifiek kunt gebruiken.
‫Nauwkeurigheid die we hebben gezien, hebben we misschien eerder gezien, maar dat is oké.
‫Als we dat niet hebben gedaan, gaan we ze dekken.
‫We hebben veel stappen gedaan die vergelijkbaar zijn met wat we gaan zien.
‫We hebben de Y-testwaarden, maar als we de documentatie van de nauwkeurigheidsscore bekijken, wat krijgen we dan?
‫Nauwkeurigheid classificatiescore.
‫We moeten de waar-waar-waarden, die in ons geval van de testlabels zijn, vergelijken met de Y-voorspellingswaarden,
‫die de voorspellingen van ons model zijn, zodat we hier zeetransport kunnen plaatsen of de X-test kunnen voorspellen.
‫Maar in plaats van te herschrijven, selecteert u de hele tijd voorspellen.
‫Dus als we daarheen gaan en dit zou ons een waarde x maal 100 moeten geven en we zullen het opmaken tot twee
‫decimalen, zet dan een klein procentteken hier achteraan en kijk wat dit oplevert.
‫Volgende is niet gedefinieerd.
‫Hebben we dat nodig als X-test?
‫Daar gaan we.
‫OKE.
‫Maar waarom doen we niet gewoon wat voorspellingen en die hergebruiken we gewoon, dus voorspellingen doen?
‫We willen een lach zien.
‫Voorspel op X X-test en de Y Preds zullen daaraan gelijk zijn.
‫Dus als we deze regel gewoon kopiëren.
‫We zouden dezelfde waarde moeten krijgen voor waarom Preds, omdat het precies hetzelfde is, behalve dat we het gewoon in een variabele
‫plaatsen.
‫Ja, daar gaan we.
‫Dus dat is al wat beter.
‫We gaan dit wegwerken.
‫Verwijder dat.
‫En wat als we deze kopie nemen?
‫Dit omdat we er een willen voor het terugroepen van precisie, wat zijn deze statistieken hier?
‫Precisie herinnert F1 opnieuw, we kunnen er nog een paar gebruiken als we dat willen, omdat we hier
‫een heleboel classificatiestatistieken hebben.
‫Dit zijn enkele van de meest voorkomende, enkele van de belangrijkste.
‫We gaan dit veranderen in precisie.
‫We zullen deze veranderen om te onthouden, en we zullen deze veranderen in f.
‫Dus nogmaals, we kunnen hetzelfde doen.
‫Precisie, precisie, schaalherinneringsscore en F1-score.
‫En dan hoeven we ze gewoon niet als percentages op te maken, dat of doen.
‫Nauwkeurigheid vind je vaak als percentage, oh, wat hebben we hier gemist?
‫Oh, we missen het einde van de dock-string of de geformatteerde string.
‫Heb je dat opgepikt?
‫Daar gaan we.
‫Mooi.
‫We kunnen ze terugbrengen tot een paar decimalen, maar dat is goed.
‫Dus daar gaan we.
‫We hebben nu de derde manier gezien om waarderingsmetrieken te gebruiken als socket-lijnfuncties.
‫Dit is nu voor classificatie.
‫Ik ga de video pauzeren of je de video opnieuw laten pauzeren en kijken of je kunt herhalen
‫wat we hebben gedaan voor classificatie.
‫Je zult hier een extra stap moeten toevoegen om wat voorspellingen te doen met de modellen omdat je een model
‫evalueert.
‫Het evalueren van een model is het vergelijken van de voorspellingen van ons model met wat de grondwaarheidsgegevens erg belangrijk zijn.
‫Net zo belangrijk als training, evalueert een model dat model, dus probeer dat eens.
‫Anders gaan we verder en schrijven het samen in drie tegen één.
‫Welkom terug.
‫Ik hoop dat je dat een kans hebt gegeven om een regressiemodel te evalueren met behulp van
‫enkele evaluatiefuncties hier, en we hebben deze allemaal uit de Metrics-module, de regressie-metrics-module van de site
‫Ketlen-documentatie.
‫En als je je afvraagt waarom Daniël zo vaak terugverwijst naar de documentatie?
‫Nou, het is omdat je dat veel gaat doen, en ik doe dat eigenlijk veel.
‫Dus ik probeer je enkele van de gewoonten bij te brengen die ik dagelijks gebruik als machine
‫learning-ingenieur of datawetenschapper, zal hier X en Y creëren, en verwijzen naar documentatie is een van de belangrijkste gewoonten die je ooit
‫zult ontwikkelen .
‫Natuurlijk kun je dingen zoeken, maar uiteindelijk ga je gewoon terug naar het lezen van de documenten
‫of zoeken, de documenten lezen, zoeken, de documenten lezen, code schrijven, het fout
‫doen, het steeds weer goed krijgen.
‫Experiment experiment experiment.
‫Dus maak deze gesplitste gegevens.
‫Dat hebben we eerder gezien.
‫We gaan het model instantiëren als een wat?
‫Omdat we aan een regressieprobleem werken.
‫We stellen het in als een willekeurige forest-regressie.
‫We laten het bij de standaard parameters.
‫We gaan het model passen op het trainingsgegevensmodel, niet passen x trein y trein.
‫En nu kunnen we voorspellingen doen.
‫Dat was de extra stap die we hier moesten toevoegen, namelijk dat dit model voorspelt op X-test dit zal instellen als
‫een variabele y Preds.
‫We zouden het kunnen hernoemen.
‫Dus het is niet hetzelfde als wat hier staat, maar dat is goed.
‫En nu gaan we evalueren met behulp van regressiestatistieken op de testset.
‫Dus we kunnen F gaan printen.
‫Laten we eerst de R laten scoren.
‫Dus we willen scoren.
‫We gaan dat formatteren met R om te scoren met Y test y periode.
‫En dan willen we, oh, we hebben het einde van de snaar daar niet.
‫Ze zullen niet afdrukken.
‫Wat hadden we nog meer bedoeld?
‫Absolute fout.
‫Dus a kan gemiddeld absoluut zijn.
‫Hebben we?
‫Ja, we hebben auto-compleet en Fred.
‫En dan tenslotte, print krijgt wat een rommelige, rommelige is gemene kwadratische fout, waarom testen, waarom paraderen en dat dan
‫daar afmaken?
‫Ik weet het niet.
‫Wat hebben we fout gedaan?
‫Dat is de kwadraatfout van Kayla en Metrix.
‫We hebben een typfout.
‫Heb je dat eerder opgevangen?
‫Gemiddelde kwadratische fout?
‫Wij rennen.
‫Dat gaat passen.
‫Ons model kan iets langer duren dan de classificatie omdat onze huisvestingsdataset 20000
‫rijen heeft.
‫O, wat doen we fout?
‫Waarom is Fred niet gedefinieerd?
‫Oh, we hebben witte draden nodig.
‫Daar gaan we.
‫Die typfout had hij misschien nog een keer opgemerkt.
‫Train het model daar gewoon opnieuw.
‫Evalueer het opnieuw.
‫Dus nogmaals, wat is het verschil tussen onze cross-val-evaluatie en onze regressiemetrieken of classificatiestatistieken
‫hier?
‫Deze metrische gegevens zijn te vinden op de splitsing van één treintest ten opzichte van deze metrische gegevens.
‫Hierboven zijn te vinden op meerdere treintestsplitsingen met behulp van kruisvalidatie.
‫Het duurt langer om deze statistieken te vinden omdat je meerdere modellen moet trainen en evalueren.
‫Ze zijn echter over het algemeen een betere indicatie van hoe uw model zal presteren
‫buiten een Jupiter-notitieboek op ongeziene gegevens dan op slechts één enkele splitsing.
‫Houd daar dus maar rekening mee.
‫Mooi.
‫We hebben enkele regressiestatistieken op de testset, dus we hebben COVID.
‫Het heeft even geduurd, maar ik wilde veel tijd aan deze sectie besteden omdat het zo belangrijk is om een
‫model te evalueren.
‫Dus als je hier meer over wilt lezen, raadpleeg dan de documentatie.
‫We hebben de methode voor het schatten van een score behandeld.
‫We hebben de scoreparameter behandeld en we hebben gekeken naar metrische functies.
‫Er is hier nog veel meer, maar je hebt de kern van alle drie gezien.
‫Dus laten we nu uitzoeken wat we behandelen.
‫We zullen onze lijst bekijken.
‫Wat hebben we tot nu toe meegemaakt?
‫Nul- en end-to-end workflow om de gegevens gereed te maken?
‫Kies het juiste slash-algoritme voor onze problemen.
‫Pas het model aan om een model te evalueren en oh, nummer vijf, we zijn van plan om een model te verbeteren.
‫Dit is heel, heel spannend.
‫Dus we hebben tot nu toe veel behandeld in het gedeelte over stopcontacten, maar we hebben nog een beetje meer te
‫gaan.
‫Ik zie je in het volgende gedeelte.
‫Laten we uitzoeken of we deze statistieken hebben, hoe kunnen we ze verbeteren, verbeteren?
‫We hebben er in eerdere video's al op gezinspeeld, maar laten we er nu echt in duiken.
‫Ik zie je in het volgende gedeelte.