‫En de laatste video die we stopten met het scoren van ons machine learning-model dat we aan de gegevens hebben
‫aangepast nadat we alle numerieke waarden hadden ingevuld, alle categorische waarden hadden ingevuld en al onze gegevens in getallen hadden
‫omgezet.
‫Het model werkte, onze gegevens hadden geen ontbrekende waarden en het was allemaal numeriek, maar we stopten met de vraag,
‫waarom is deze metriek betrouwbaar?
‫Laten we dat hier plaatsen, want dat is de moeite waard om te benadrukken, want onthoud, onthoud altijd dat het passen van
‫een machine learning-model of het evalueren van een machine learning-model net zo belangrijk is als het passen ervan.
‫En dat is waar we tot nu toe zijn, omdat we gewoon passen in een machine learning-model.
‫We moeten ervoor zorgen dat onze resultaten kloppen.
‫Omdat we geen dingen willen beloven die ons model niet kan.
‫Dus vraag me af waarom de bovenstaande statistiek geen stand houdt?
‫Hold water is een uitdrukking voor waarom is de metriek niet betrouwbaar?
‫Dat is maar een manier van spreken.
‫Dus waarom houdt het geen water vast?
‫Waarom is het niet betrouwbaar?
‫Heb je erover moeten nadenken?
‫Ik zal je een diagram laten zien dat je geheugen kan opfrissen als we terugkomen op onze keynote, je herinnert je het van helemaal terug aan het begin, het belangrijkste
‫concept in machine learning, a. k. A. de drie sets.
‫Dus wat we hebben gedaan, is dat we een machine learning-model hebben getraind op één dataset, maar wat hebben we dan
‫gedaan?
‫We komen terug op de code.
‫Wij passen bij het model.
‫Op de dataset op sommige data, maar dan hebben we het op exact dezelfde data geëvalueerd.
‫Oh oke.
‫Dus als we hier terugkomen, in wezen wat we hebben gedaan, is dat als we dachten dat
‫dit een universitaire cursus was, we het cursusmateriaal hebben geleerd, maar wat we hebben gedaan, in plaats van ons model te testen op het equivalent
‫van zoals een eindexamen, a. k. A. een testdataset, hebben we zojuist
‫ons machine learning-model geëvalueerd op exact dezelfde materialen waarop het is geleerd.
‫Je zat in een klas en je kreeg een boek om te lezen en dan op exact hetzelfde moment als je wilt,
‫word je getest met de vragen rechtstreeks uit dat boek dat je aan het lezen bent.
‫Hm.
‫OK, maar we na het vermogen van ons model om te generaliseren en a. k. A. de mogelijkheid voor een machine learning-model om goed
‫te presteren op gegevens die het nog niet eerder heeft gezien.
‫Dat is waar we naar op zoek zijn.
‫Als we teruggaan naar Kagle.
‫Er is een trainingsdataset die gegevens bevat tot eind 2011.
‫Er is een validatieset en er is een testset.
‫Dus dat is waar we naar op zoek zijn.
‫We moeten ons model evalueren, niet op de gegevens waarop we het hebben getraind, en dat is dit.
‫We moeten het evalueren op de testgegevens.
‫Maar voordat we dat doen, als je je herinnert, helemaal terug naar boven, laten we meteen terug naar boven
‫gaan om ons eerste dataframe te importeren.
‫Ik zei dat we dit opnieuw zouden bekijken en nu is het zover.
‫Dus we gaan hierheen, we importeren en trainen en valideren CATV.
‫Hm.
‫Vraag je je af waarom we dat deden?
‫Nou, het wordt allemaal duidelijk in deze video.
‫Dus we hebben trein en Valencias V, we zijn Valencias V en we hebben trein GSV.
‫Waarom importeren we ze niet gewoon apart?
‫Ik wilde laten zien hoe het is om je eigen validatieset te maken in plaats van dat iemand
‫anders het voor je maakt met een tijdreeksgegevensset, waar we aan werken.
‫Dus daar is dit een perfecte speeltuin voor.
‫Dus als we hier lezen, is trein CSFI de trainingsset.
‫Dus eigenlijk waar we aan hebben gewerkt en Valencias V is een validatieset.
‫Het belangrijkste punt hier is dat omdat het een tijdreeks is, de trainingsgegevensset gegevens bevat
‫tot eind 2011, terwijl de validatieset gegevens heeft tussen 1 januari 2012 en 30 april 2012.
‫Dus wat we zullen doen om ons model beter te evalueren, we moeten onze gegevens opsplitsen in trainings- en validatiesets.
‫Dus laten we dat doen.
‫Laten we hierheen gaan.
‫De gegevens opsplitsen in treinvalidatiesets, want dat is waar we nu naar op zoek zijn.
‫We hebben een model.
‫We kunnen nu modellen bouwen, maar we moeten rennen en gewoon betere modellen bouwen.
‫We moeten ervoor zorgen dat wat we evalueren zinvol is.
‫Dus laten we onze gegevens opnieuw controleren, zoals we altijd doen.
‫Dus misschien kunnen we het jaar gebruiken.
‫Hoe heette het?
‫Sayle jaar.
‫Probeer je te zeggen?
‫O ja.
‫Daar gaan we.
‫OK, dus misschien omdat ons dataframe in orde is.
‫Ja, dit gaat ons helpen bij het importeren van het dataframe.
‫We bestelden het in de volgorde van de verkoopdata.
‫Dus nu we dit lezen om onze eigen validatieset te maken, willen we onze gegevens splitsen.
‫Dus alle rijen tot 2011.
‫Dus hetzelfde jaar 2011, dat kan in de trainingsset zitten en dan kunnen alle rijen in 2012 de
‫validatieset zijn.
‫Over de testset maken we ons voorlopig geen zorgen want die zit in een aparte dataset.
‫De reden waarom we alleen aan trein en geldige CSP werken, is omdat we de trein hebben geïmporteerd en CEV
‫aan het begin van de notebook hebben gevalideerd.
‫Dit bestand hier.
‫We moeten dus onze eigen validatiegegevensset maken, dus laten we dat doen zodat we sjablonen kunnen maken
‫en de verkoopwaarde kunnen controleren.
‫Daar gaan we, 2012, dus er zijn elfduizend vijfhonderddrieënzeventig monsters in 2012.
‫Oke.
‫Dus om onze gegevens op te splitsen in training en validatie, zou het zo eenvoudig moeten zijn.
‫Oké, laten we dit introspecteren.
‫Onze jaarkolom en elke kolom die gelijk is aan 2012 zal een validatieset zijn voor ons jaar en voorbeeld.
‫En elke rij die niet gelijk is aan verkoopjaar, die niet gelijk is aan 2012 komt in de trainingsset.
‫Dus laten we er niet meer over praten en de code bekijken.
‫Splits data dus op in training en validatie.
‫Dit is iets dat je misschien te maken hebt met je eigen tijdreeksgegevens, toch.
‫Omdat je niet altijd in een informeel formaat wordt gegeven.
‫Rechts.
‫Wanneer je met een klant werkt of aan een project werkt, zul je niet altijd automatisch
‫je gegevens in de trein valideren en testen, dit zijn dingen die je voor jezelf zult moeten creëren.
‫Kijken naar deze verkoopkolom of kijken naar de tijdkolom, kijken naar de datumkolom en uitzoeken
‫hoe u uw eigen trainings- en validatieset kunt maken.
‫Dat is precies waarom we ze om te beginnen als één set hebben geïmporteerd, zodat we konden oefenen met het maken van onze
‫eigen trainings- en validatiesets.
‫En ik heb het gevoel dat ik de woorden veel zeg, maar dat is belangrijk omdat we teruggaan naar onze.
‫Keynote, dit is het belangrijkste concept in machine learning, want waar we ons model ook op trainen, we willen er
‫zeker van zijn dat we het op iets anders evalueren.
‫Dus ik kom hier bij de validatieset is elke rij in DF temp waar de SC-kolom gelijk is aan 2012?
‫Ja dat is correct.
‫En de trainingsdag is elke afrondingstemperatuur waarbij de kolom Zuidjaar niet gelijk is aan 2012.
‫Prachtig, en dan kunnen we naar beneden gaan en de F-trein de schuld geven, dus dit zal ons alleen de lengte van
‫deze twee dataframes vertellen.
‫Mooi.
‫Dus nu hebben we een validatieset die elfduizendvijfhonderddrieënzeventig rijen bevat en
‫een trainingsgegevensset die vierhonderdduizendvijfentwintig rijen of voorbeelden bevat, en ze zijn gesplitst
‫op datum.
‫Mooi, we nemen dozen hier, we nemen dozen hier.
‫Dus wat we nu zouden kunnen doen, is gegevens opsplitsen in X en Y.
‫We hebben dit eerder gezien.
‫En op die manier hebben we een X-trainingsset en een Y-trainingsset en een X-waardeset en een Y-geldige set, wat onze
‫gegevens en labels zijn.
‫Dus we hebben uitwisseling Y trein is gelijk aan D. F..
‫Nu werken we met de trainingsset hier neerzetten.
‫We willen de kolom uitverkoopprijs bij de eerste toegang laten vallen.
‫OK, laat de kolom vallen en we gaan het opzetten om te trainen en de trein zal gelijk zijn aan de verkoopprijs.
‫Dus kijk hoe ik het doe met een komma hier.
‫Ik ben een beetje lastig door gewoon in één regel te doen.
‫Mooi.
‫En we gaan hierheen.
‫Geldig y geldig.
‫Niet zeker en ontwikkeld om de verkoopprijs niet weer precies hetzelfde te laten zakken, maar dit keer met de validatieset
‫D. F. ze gaan beginnen.
‫Dit wordt echt een verkoopprijs.
‫Daar gaan we.
‫En nu hebben we een kleine meter die onze gegevens inspecteert om er zeker van te zijn dat we niet ergens een klein foutje hebben gemaakt.
‫Het moeten allemaal compatibele vormen voor elkaar zijn.
‫Waarom die vorm, dus we nemen gewoon deze datasets die we hier maken en we ontdekken de
‫vormen ervan.
‫Mooi.
‫Dus onze trainingsset is vierhonderdduizend rozen oh, ongeveer dat met honderdtwee kenmerken, honderdtwee
‫kolommen.
‫Onze Y-training is vierhonderdduizend rijen en dan is de validatie ongeveer elf en een half duizend met hetzelfde
‫aantal kolommen voor X en geen kolommen voor Y omdat Y slechts één kolom is.
‫Laten we eens kijken.
‫Kijk, dit is wat we doen.
‫Zorg ervoor dat al onze gegevens.
‫OK, dit zijn dus allemaal verkoopprijzen.
‫Mooi.
‫OK, dus we hebben onze gegevens in trainingsvalidatiesets.
‫We hebben voor twee van de drie belangrijkste dingen of belangrijkste sets gezorgd.
‫We zullen de testset later bekijken.
‫Maar dit is wat we hebben gemaakt, een trainingsset en een validatieset.
‫Het is tijd om door te gaan met het bouwen van meer modellen, dus we kunnen deze video hier beëindigen en we moeten een
‫manier vinden om te evalueren hoe een machine learning-model werkt.
‫Dus daar zullen we waarschijnlijk in de volgende video naar kijken.