‫Nu hebben we een ideaal model dat behoorlijk presteert -- goed op de validatiedataset die
‫zo geldig is, Emslie, is de maatstaf waar we op hebben gelet, want dat is de evaluatiemaatstaf voor
‫deze specifieke vrachtwedstrijd.
‫Als u aan een ander probleem of een andere set gegevens werkt, heeft u natuurlijk
‫een andere evaluatiestatistiek die u probeert te verbeteren.
‫Maar nu gaat het redelijk goed met ons.
‫Laten we dus ons ideale model gebruiken om voorspellingen te doen op testgegevens.
‫Er is een klein weetje in dit gedeelte dat erg belangrijk is om te onthouden, en we zullen
‫het zo tegenkomen.
‫Dus allereerst moeten we de testgegevens importeren.
‫Als we nu eens kijken.
‫In onze gegevensmap, dus dit is gewoon in het Jupiter-huis, omdat we een projectmap voor dit specifieke project hebben gemaakt
‫en we hebben onze gegevens gedownload en hier geplaatst.
‫Hierbinnen bevindt zich een dataset die test CSFI is.
‫Dit is dus wat we gaan gebruiken.
‫En als we terugkomen op Kagle, het vertelt ons dat Test CSFI de testset is, die pas tijdens de competitie van vorige
‫week zal worden vrijgegeven.
‫Nou, we hebben het op dit moment omdat deze wedstrijd al voorbij is.
‫Het bevat gegevens van één mei 2012 tot november 2012.
‫OK, dus het is ongeveer de zes maanden of zo na onze validatie set prachtig.
‫En onze modellen presteren goed op de validatieset.
‫Dus wat je zou kunnen zien, is kijken hoe we voorspellingen kunnen doen over deze toekomst.
‫Zes maanden aan gegevens.
‫Dus we gaan Eagles' Reid zien als V testen, wat het op
‫precies dezelfde manier gaat doen als in het begin met onze trein ongeldige dataset lubow voor bulldozers.
‫Prachtig.
‫En het heet Test Ötzi, omdat we bij weinig geheugen gelijk zullen zijn aan false.
‫En we gaan ook datums doorgeven, want onthoud, we hebben geen enkele manipulatie aan deze dataset gedaan zoals we
‫aan onze andere hebben gedaan.
‫We zullen zo zien waar dat binnenkomt en dan zullen we DFG-testen vooruit controleren.
‫O, wat gebeurt er?
‫O, typfouten.
‫Mooi.
‫Dit ziet er dus bekend uit.
‫Het is iets dat we eerder hebben gezien, behalve dat de testgegevensset deze keer de kolom met verkoopprijs
‫mist.
‫En de reden hiervoor is dat dat de kolom is die we proberen te voorspellen.
‫Dus waarom kijken we niet of we dat kunnen doen?
‫Dus we gaan spread's is gelijk aan ideaal model.
‫We gebruiken ons ideale model dit tijdmodel niet te voorspellen.
‫Een ideaal model heeft het beste gepresteerd en we zouden in staat moeten zijn om voorbij het hele dataframe te gaan.
‫Juist, omdat dit onze X-waarden zijn en we geen kolommen hoeven te verwijderen omdat het geen
‫kolom met verkoopprijzen heeft.
‫Dus laten we kijken wat er gebeurt.
‫Eigenlijk, plaats hier een kleine opmerking, doe voorspellingen over de testdataset en ik wil een beetje een uitdaging zijn voordat we deze
‫cel uitvoeren, ik wil dat je een beetje nadenkt over wat er zou kunnen gebeuren met ons machine
‫learning-model.
‫Het is getraind op een bepaalde dataset en nu hebben we de testdataset geïmporteerd.
‫Wat gaat er gebeuren als we proberen voorspellingen te doen over deze dataset op basis van Ik geef je een hint op
‫basis van de data waarop ons model is getraind.
‫En als je het niet zeker weet, is dat prima, we gaan het zo zien, we zouden het nu moeten zien.
‫O, daar gaan we.
‫Waarde fout.
‫OK, wat hier gebeurt, kan string niet converteren naar float.
‫Oh oke.
‫Dus als je het je herinnert, helemaal terug naar boven, laten we dan terug naar boven scrollen door ons beest van een notebook waar
‫we doorheen hebben gewerkt.
‫Wat hebben we gedaan voordat we een machine learning konden trainen? Wat we zagen was een soortgelijke fout toen we
‫hier voor het eerst begonnen, toen we begonnen met modelleren.
‫Het zou geweldig zijn als ik het zou kunnen vinden.
‫Ons model.
‫Werkte niet.
‫Daar gaan we.
‫OK, bouw een model, dus de neiging om te laten vallen.
‫Kon string niet converteren naar vlucht, dus dezelfde foutmeldingen, wat staat hieronder?
‫De reden dat dit is gebeurd, is waarom denk je?
‫Nou, het is omdat toen we onze originele dataset importeerden, we er wat manipulaties aan hebben gedaan, wat hebben we
‫gedaan?
‫We hebben ervoor gezorgd dat onze gegevens numeriek waren en dat er geen ontbrekende waarden waren.
‫Dus wat we nu hebben gedaan, is dat we de beste hebben geïmporteerd.
‫Kan enkele ontbrekende waarden hebben, wat wel het geval is.
‫En het is misschien niet allemaal numeriek.
‫En.
‫Ver weg.
‫We hebben hier behoorlijk wat gegevensverwerking gedaan, en als we de kolommen controleren.
‫Dit zijn dus alle functies, maar als we X-trein van kolommen bekijken.
‫Nou, Danny Bracket is een.
‫Het viel ons op dat de kolom Lancs een andere is.
‫Hm.
‫Dus er zijn honderdtwee kolommen in al X-trein, terwijl in de test, wat hebben we hier?
‫We hebben het hier eerder gezien toen we dot head deden.
‫Tweeënvijftig kolommen, hmm.
‫Dus de reden waarom ons machine learning-model op dit moment niet kan voorspellen op de testdataset, is omdat het niet
‫in hetzelfde formaat is als waarop het model is getraind of als de dataset waarop het model is getraind.
‫Daar zullen we het dus mee moeten doen.
‫Oke.
‫Laten we deze hier kwijtraken.
‫En hoe zouden we dit kunnen doen, zodat we de gegevens vooraf kunnen gaan verwerken.
‫Met andere woorden, het is geweldig om de testgegevens in hetzelfde formaat te krijgen als onze trainingsgegevens.
‫Dus hoe zouden we dit kunnen doen?
‫Dus wat we zouden kunnen doen, denk ik, is een functie maken om dit te doen.
‫Dus als we een nieuwe dataset zouden importeren, laten we zeggen een testdataset, dan hebben we eigenlijk wat manipulaties aan
‫onze trainingsgegevens gedaan.
‫We zouden die functies kunnen nemen die we deden op de trainingsdataset en precies hetzelfde
‫doen op de testdataset, dus op die manier zijn ze allebei hetzelfde.
‫Dat is logisch.
‫Laten we het eerst zien.
‫Laten we kijken of we dit kunnen doen.
‫Dus voorbewerkte gegevens gaan door op een dataframe.
‫We laten hier een klein berichtje achter.
‫Dus voert transformaties uit op D. F. en retourneert getransformeerd door eenvoudig recht.
‫We willen een functie maken die een soort dataframe nodig heeft.
‫Het doet een heleboel manipulaties op dat dataframe en uiteindelijk zal het dat dataframe retourneren.
‫Dus nu moeten we alle transformaties invullen die we oorspronkelijk hebben gedaan om hier tijdelijk te werken.
‫En dus kunnen we dat doen door naar boven te gaan.
‫We moeten misschien een paar kopieën maken en Pasir, dus onthoud, helemaal terug naar boven.
‫Dus dit is een kleine regel, een kleinigheidje, wat je met de trainingsdataset doet, moet
‫je ook met de testdataset doen.
‫Dus dat is een lekkernij op het gebied van machine learning.
‫OK, dus hier is de eerste grote reeks manipulaties die we deden.
‫Ze zouden dat prachtig kunnen kopiëren.
‫En we kunnen deze regel gewoon onthouden, dus we hebben hier wat informatie toegevoegd op basis van
‫de Colin Saldate overdag, en daarna hebben we hem verwijderd.
‫Dit zijn dus de eerste twee stappen die we moeten doen.
‫OK, we scrollen helemaal naar het einde van onze notebook.
‫Ik ga veel scrollen in deze video omdat we drie belangrijke dingen goed hebben gedaan.
‫We hebben hier wat informatie toegevoegd aan de dag of we hebben eruit gehaald.
‫Dat is waarschijnlijk een beter idee.
‫We hebben informatie uit onze datum-tijdkolom gehaald en aan het gegevensframe toegevoegd, zodat we D. F.
‫stip laten vallen.
‫En nadat we dit hebben gedaan, wordt de Saldate-kolom verwijderd.
‫En we gaan toegang is gelijk aan één en op zijn plaats is gelijk aan waar, prachtig, en we moeten de temperatuur van al deze verwijderen omdat we
‫alleen D gebruiken. F..
‫Dus een kleine truc hier is door je cursor te verplaatsen en het commando ingedrukt te houden als je op een Mac werkt of misschien is het
‫controle als je op Windows werkt en we kunnen gewoon teruggaan naar de basis hier.
‫Prachtig, toch?
‫Omdat we niet werken met do temp.
‫We werken samen met D. F..
‫Dus elk willekeurig genoemd dataframe zal werken met onze functie.
‫Dus het volgende dat we deden, was dat we de numerieke rijen moesten vullen met Madian en wij ook.
‫Gevuld, categorisch.
‫Ontbrekende gegevens en omgezet in cijfers.
‫Op hun beurt categorieën in cijfers.
‫Dus dat is wat we terug moeten scrollen en vinden.
‫Oké, laten we dat eerst doen.
‫We krijgen de ontbrekende ontbrekende nieuwe wonderen.
‫Gelukkig hebben we ons notitieboekje klaargelegd.
‫We hebben deze koppen hier toegevoegd zodat we kunnen zien wat we aan het doen waren.
‫Dit hoort allemaal bij jezelf helpen, toch?
‫Vul numerieke rijen dus in bij de mediaan.
‫We hebben deze code hier eigenlijk allemaal nodig.
‫Dat kopiëren we.
‫Mooi.
‫Dit is dus waar opmerkingen en verschillende kopjes in je notitieboekje je toekomstige zelf echt kunnen helpen,
‫als je dingen wilt functionaliseren en dingen wilt opruimen.
‫Dus daar gaan we weer, we moeten de DF-tent verwijderen, we gaan naar het kamp.
‫Die temperatuur willen we niet.
‫We willen alleen D. F..
‫Oké, mooi, en we moeten nog categorische ontbrekende gegevens aanvullen en categorieën in getallen veranderen.
‫Laten we nu eens kijken of we ons kunnen herinneren hoe we dit moeten doen in plaats van terug te moeten scrollen,
‫want we hebben eerlijk gezegd genoeg gescrolld.
‫Dus we kunnen dit doen, zo niet als we het ons herinneren, als het geen numeriek type is.
‫Dat is hoe we het deden. Type is numerieke inhoud omdat we een lus maken.
‫We zitten hier in dezelfde lus.
‫Inhoud we willen gaan D. F. label plus onderstrepingsteken ontbreekt.
‫Ja, gelijk.
‫Dus het gaat controleren of het nu is, als het nu is,
‫willen we een label toevoegen dat label ontbreekt, dat dat specifieke gegevenspunt ontbreekt en bepaalt hoe we plus één toevoegen aan de categoriecode omdat panda's en
‫codes ontbrekende categorieën als negatieve één .
‫Hier kunnen we dus terecht.
‫D. F. label Eagles' PD categorisch.
‫Verander het dus in een categorie om de inhoud van een bepaalde kolom in een categorie te veranderen en toegang te krijgen tot
‫de code, a. k. A. veranderen in een getal en dan plus één.
‫Oké, geen slechte functie.
‫Dus dit is wat er gebeurt in een notebook-workflow, juist, je zou hier waarschijnlijk kunnen classificeren
‫dat het meeste hiervan behoorlijk rommelig is.
‫We hebben onszelf geholpen met verschillende kopjes en zo en opmerkingen.
‫Naarmate u echter verder in het proces komt, begint u deze hulpfuncties te bouwen.
‫Dus je verzamelt een hele reeks verschillende stappen in een functie, zodat het echt dingen in de
‫notebook synchroniseert.
‫En je kunt gewoon een functie als deze aanroepen, net zoals onze functie voor het tonen van scores en het voert een proces uit dat
‫elke keer hetzelfde zal zijn in plaats van omhoog te moeten scrollen door het notitieboekje en iets in een
‫andere cel te vinden.
‫Dus nu kunnen we op shift drukken, dat invoeren of wat er is gebeurd.
‫Verwacht ontbrekend blok.
‫Ik dacht niet dat we er een nodig hadden.
‫Oh, ja, dat is waar we het nodig hebben.
‫We hadden hier indianen nodig.
‫Daar gaan we, klassiek.
‫Dit is wat er gebeurt als we code kopiëren en plakken, toch?
‫De opmaak is niet altijd perfect, mooi.
‫Dus we hebben hier een functie die een soort dataframe gaat voorbewerken.
‫Het gaat wat informatie toevoegen op basis van de Saldate-kolom.
‫Het gaat numerieke rijen vullen met de mediaan.
‫Het gaat de ontbrekende categorische gegevens veranderen in een nulwaarde en de rest van
‫de gegevens in het mooie categoriecodenummer.
‫Dus het gaat door een paar stappen, maar dat is een rechtse functie.
‫Gaat het nog samen gebeuren?
‫En wat kunnen we hier nu doen?
‫Een goede vraag is eigenlijk waar deze functie kan breken?
‫Ik zou je dat voor deze video kunnen laten om te voorkomen dat het te lang wordt.
‫Ik wil dat je een kijkje neemt naar deze grote functie die we hebben gemaakt en erover nadenkt als
‫we het halen, ons trainingsdataframe, hoe het zou kunnen werken?
‫En dan als we ons testdataframe hebben doorgegeven.
‫Rechts.
‫DF-test, die hier is, we zijn geslaagd voor dit dataframe.
‫Hoe kan het breken?
‫We zullen die volgende video beantwoorden.