‫Oké, dus nu hebben we onze notebook, een klein beetje licht uit en we weten welke stappen we nemen, we weten
‫welk probleem we proberen op te lossen.
‫We weten waar onze gegevens vandaan komen.
‫We kennen onze waarderingsmaatstaf en de kenmerken.
‫Laten we de gegevens importeren en aan de slag gaan.
‫Dus in mijn geval hebben we dat geïmporteerd in een map met de naam data.
‫Mogelijk hebt u dezelfde map gemaakt.
‫Dus wanneer ik het bestandspad schrijf, kan uw bestandspad anders zijn dan het mijne.
‫De mijn gaat data heten.
‫Dus laten we dat doen en we gaan om te beginnen de trainings- en validatiesets importeren.
‫Als je je afvraagt waarom we ze diezelfde tijd in dienst hebben, zal dit duidelijk lijken in een volgende video.
‫Dus voorlopig moet je me er maar op vertrouwen dat we beide in één set importeren.
‫En als we bluebook gaan, kunnen we Tabora waarschijnlijk compleet gebruiken, zeker.
‫Daar gaan we.
‫Dus we willen CSFI trainen en valideren.
‫Prachtig.
‫We zijn nu overgeschakeld naar dit kan een tijdje duren, want zoals we zo zullen zien, is dit
‫een vrij grote dataset.
‫We krijgen een waarschuwing.
‫Wat hebben we hier?
‫Type waarschuwingskolommen, 13, 39, 40, 41 hebben gemengde typen gespecificeerde typeoptie bij importeren of instellen.
‫Weinig geheugen is gelijk aan onwaar.
‫Dus als we hierheen gaan, kunnen we van deze waarschuwing afkomen door weinig geheugen in te stellen op false.
‫Dus dit zegt in wezen dat wanneer panders ASV beoordelen, wanneer deze functie wordt geïnstantieerd, afhankelijk van hoe
‫groot een dataset is, omdat dataframes in RAM leven, panda's proberen de hoeveelheid ruimte die ze innemen
‫te minimaliseren.
‫Dus wat we doen, is dat we de deagle met weinig geheugen gewoon op false zetten, hey, we weten dat je probeert de ruimte
‫te minimaliseren, maar maak je niet al te veel zorgen.
‫We hebben ruimte genoeg.
‫Dus dit zou moeten werken, we zouden in staat moeten zijn om van die waarschuwing af te komen.
‫Prachtig.
‫Dus dit zegt alleen maar dat je het opslaat zoals je wilt proberen en eraan trekt.
‫Probeer de ruimte die u gebruikt niet te minimaliseren.
‫Prachtig.
‫En het eerste dat we waarschijnlijk zullen doen, is dot info gaan om een beetje informatie te krijgen over wat er gebeurt.
‫Dus daar gaan we weer.
‫Kijk daar eens naar.
‫Het is de grootste dataset waarmee we tot nu toe hebben gewerkt.
‫We hebben vierhonderdtwaalfduizend zeshonderdachtennegentig rijen.
‫Dat zijn veel rijen en 53 kolommen.
‫Onthoud dat als we naar onze kolommen kijken, dit onze variabelen en beschrijvingen zijn.
‫We zouden dus verkoopideeën moeten hebben.
‫Ja, dat is een nominaal geheel getal machine-idee, dat de identifier is voor een bepaalde machine.
‫Machines kunnen meerdere verkopen hebben.
‫OK, dus dat betekent dat een machine in de loop van die periode meerdere keren kan worden verkocht.
‫Dan degene waar we waarschijnlijk de meeste aandacht aan willen besteden, omdat het een tijdreeks is, afgezien van de
‫verkoopprijs.
‫Dat is het bedrag waarvoor onze machines zijn verkocht, is de verkoopdatum.
‫Dit is dus wanneer de machine is verkocht.
‫Dus we kijken naar deze verkoopdatum, tijdstip van verkoop.
‫Mooi.
‫Oké, dus wat kunnen we nu doen?
‫Aangezien de verkoopdatum een datum is, willen we deze misschien doorgeven als een datum.
‫Maar dat gaan we nu nog niet doen omdat ik iets wil laten zien.
‫Dus we gaan een plot opzetten, want dit is wat we gewoonlijk doen wanneer we voor het eerst aan een
‫project beginnen, proberen wat visualisaties te maken.
‫Als je hiernaar kijkt, is er hier veel aan de hand, toch?
‫Alsof je hier gewoon naar zou kunnen kijken.
‫Dit is moeilijk te concluderen als je me leuk vindt en je kijkt alleen maar naar een lijst met woorden en cijfers
‫en net zoals ik dingen moet visualiseren, moet ik naar dingen kijken.
‫Maar wat kunnen we hieruit zien?
‫Dus we hebben vierhonderdtwaalfduizend zeshonderdachtennegentig inschrijvingen.
‫Deze zijn inmiddels bekend.
‫We zeggen dat we enkele ontbrekende waarden hebben, vooral voor de gebruiksband, wat dat ook is.
‫Dus als we onze datadictionaire-gebruiksband bereiken, dus waarde, laag, gemiddeld, hoog, berekend, en deze specifieke machineverkoop die
‫van ons vergelijken met het gemiddelde gebruik voor het F I-basismodel.
‫Dus de vijf basislijn is echt een ander kenmerk.
‫Daar gaan we.
‫Deze verzameling van F. L. modelbeschrijving ver weg, we hebben hier behoorlijk wat informatie
‫over onze bulldozesrechten.
‫Dit is eigenlijk een behoorlijk goede dataset.
‫Maar we kunnen zien dat voor gebruik verbannen, er een paar ontbrekende waarden zijn omdat
‫er slechts drieënzeventigduizend zeshonderdzeventig niet-nulobject is, dus dat betekent dat er vierhonderdtwaalfduizend zeshonderdachtennegentig
‫minus die ontbrekende waarden zijn.
‫En dat kunnen we uitvinden voordat we plotten.
‫Laten we dat uitzoeken.
‫Dus we hebben D. F. is en dit is hoe we het gaan controleren.
‫Als er geen waarden zijn, daar gaan we, dus de gebruiksband heeft driehonderdnegenendertig duizend achtentwintig ontbrekende waarden, wetende wat we
‫weten over machine learning-modellen, dat is iets waar we voor moeten zorgen
‫voordat we kunnen bouwen een model.
‫Maar laten we doorgaan.
‫Laten we een plot maken, want we proberen de verkoopprijs te voorspellen en we weten dat onze gegevens een tijdreeks zijn.
‫Waar we misschien naar willen kijken, is zoiets als het vergelijken van verkoopdatums met verkoopprijs.
‫En omdat, zoals zoveel Rosea, als we dat zouden doen, als we zouden proberen al deze gegevenspunten in één plot te plotten, omdat
‫je je voorstelt dat je vierhonderdtwaalfduizend punten op een plot probeert te tekenen, je computer gaat
‫het moeilijk hebben.
‫Dus laten we er ongeveer duizend doen.
‫Waarom niet.
‫Laten we gaan.
‫Saldaat.
‫We gaan horen wat de eerste duizend doen, wat vinden we daarvan, dat is een vrij groot aantal.
‫We willen een verkoopprijs doen.
‫En als u de namen van verschillende kolommen wilt weten, onthoud dan dat u altijd naar DFG-kolommen kunt gaan.
‫Dus wat we hier doen, we nemen Saldate, waar dat ook wordt gespeld, dat wil zeggen, als we naar ons
‫datadictionary komen, dit is waar we willen verwijzen naar het tijdstip van verkoop van de datum
‫waarop het is geweest verkocht evenals de verkoopprijs.
‫Staat dat in ons datadictionary?
‫Ik denk dat dat eigenlijk vrij eenvoudig is.
‫Wat zijn de verkoopprijzen.
‫Daar gaan we.
‫Verkoopprijs, verkoopkosten in Amerikaanse dollars.
‫Dus laten we het eens bekijken.
‫Laten we eens kijken wanneer een van deze wordt verkocht, we gaan de saudade op de x-as plaatsen, want
‫onthoud, spreiding is X Y en de verkoopprijs op de Y-as.
‫Dus laten we het eens bekijken.
‫Wat hebben we hier?
‫Nou, we hebben onze ecocide.
‫We zullen.
‫Dus je ziet hier, we hebben geprobeerd om Saldate de eerste duizend voorbeelden te geven, dus dit
‫is waarom onze plot er een beetje funky uitziet en het probeert gewoon in te pakken als we naar
‫ons dataframe, DFG Saldate, kijken.
‫Dat is wat het probeert uit te zetten op de x-as als we naar de eerste duizend moeten kijken.
‫Ik probeer al deze ideeën hier samen te vatten, zodat je kunt zien hoe het eruit ziet als een
‫groot stuk van een streepjescode en dan gewoon een groot stuk zwarte tekst daar.
‫Dus wat we zouden kunnen doen is laten we gewoon een histogram plotten, omdat we altijd graag de distributie controleren, dat
‫is de verspreiding van gegevens van zoveel mogelijk variabelen.
‫Maar waarom zou u in dit geval geen verkoopprijs doen?
‫Want dat is onze doelvariabele.
‫Dus verkoopprijs en nu, nogmaals, als het een beetje ongestructureerd lijkt, wat ik hier doe, is omdat het echt zo
‫is, zoveel verschillende manieren waarop je de dataset kunt verkennen.
‫Een van de beste die ik leuk vind, is DFM, FOH-controle om te zien of er een nulwaarde is.
‫Dus we weten nu in in a als in ontbrekende waarden, dus we weten hoeveel ontbrekende waarden zijn gecontroleerd.
‫De kolommen plot een van de belangrijkste kolommen van nu.
‫Ik heb zojuist voor Saldate gekozen omdat het een tijdreeksprobleem is, een van de
‫belangrijkste kolommen versus de verkoopprijs of versus de doelkolom en vervolgens een distributie van een paar kolommen naar keuze uitvoert.
‫Dit zijn de stereotiepe dingen die ik graag doe als ik voor het eerst een dataset verken.
‫Maar wat we hier kunnen zien, is dat de meeste van onze verkoopprijzen onder de twintigduizend dollar liggen.
‫Dus de grootste column hier of niet de meeste, maar wel een ruime meerderheid.
‫Een grote portie.
‫En dan hebben we er nog een paar onder de dertigduizend.
‫Laten we aannemen dat 30000, 40000, en dan blijft het maar doorgaan en het wordt steeds minder
‫en minder en er zijn er niet veel die meer dan 100.000 dollar kosten.
‫Dus daar kijken we naar.
‫OK nu.
‫Wat we zouden kunnen doen, is omdat deze datums niet echt in een formaat zijn waarin we ze willen hebben, dus kijk
‫hoe ze inderdaad type object zijn.
‫Als je met tijdreeksen te maken hebt, wil je dat zoveel mogelijk informatie in de datums wordt gecodeerd, dus dat
‫is wat we zullen doen.
‫Een kleine manier waarop we dit kunnen doen, worden doorgangsdatums genoemd.
‫Dus laten we eens kijken hoe dit eruit ziet, het passeren van datums.
‫Dus als we met TIME-seriegegevens werken, willen ze verrijken.
‫De tijd- en datumcomponent, zoveel mogelijk, denk je misschien, nou, hoe doen we dat?
‫Nou, laten we het hier neerzetten.
‫We kunnen dat doen door panda's te vertellen
‫welke van onze kolommen.
‫Er staan datums in.
‫Gebruik makend van.
‫De parameter verleden datums.
‫Prachtig.
‫En wat dit gaat doen.
‫Verander welke kolonie afvalligen ook in een datum-tijd-object, dus laten we eerst kijken wat een datum-tijd is.
‫Voorwerp in pannen.
‫Ik kwam hier, met een tijdstempel tot de datum, zodat je een heleboel verschillende dingen kunt ontdekken,
‫welke dag hier een dagobject is.
‫Timestamp is apan is het equivalent van Python's date time en kan er in de meeste gevallen mee worden uitgewisseld.
‫OK mooi.
‫Dus eigenlijk als we daarheen rennen, dus laten we het nog een keer doen, gegevens opnieuw importeren op dit moment, afgelopen datums.
‫Denk eraan, als u twijfelt, voer dan de code uit om dagtarieven te betalen, aangezien wij en wij Data Bluebook voor Bulldozes
‫Teq gaan gebruiken en wij gaan trainen.
‫De trein in Valencia is heel mooi, maar deze keer gaan we er voorbij, het geheugen
‫was niet waar, dus die waarschuwing hebben we niet en dan gaan we het halen, de data doorgeven en we passeren bij
‫de colonne naam Saldate.
‫Waarom?
‫Want daar zijn onze gegevens.
‫En let dus goed op wat dit is.
‫Dus als we naar Saldate gaan, is het een D-type object.
‫We zouden hier misschien een beetje D kunnen plaatsen.
‫Typ D, typ O.
‫Dus als we dit doen, laten we eens kijken wat het verschil is.
‫Dit gaat ons oorspronkelijke dataframe overschrijven, zodat we naar de punt Saldate kunnen gaan, punt overdag.
‫Oh, dat is een beetje funky.
‫Wat als we D. F. niet zeggen, oké, hoe ziet het eruit?
‫Ze hebben geluid bij de eerste duizend.
‫Aha, oké, dus als we hier komen.
‫We hebben Saldate, dus ze zien er zo uit.
‫Wat Penders heeft gedaan, is omdat we het hebben doorgegeven aan Dade's, het heeft alle waarden in de
‫Saldate-kolom doorgenomen en in deze stijl omgezet.
‫Dus we hebben jaar, maand, dag en we kunnen zien dat het gegevenstype datum tijd 64 is.
‫En als je naar Google zou gaan.
‫Vergelijk deze twee, want je vraagt je misschien af waarom het hier een andere waarde heeft dan
‫hier, je zult zien dat deze twee in geen enkele taart gelijkwaardig zijn.
‫Je zult me dus op mijn woord moeten geloven.
‫U kunt Googlen en misschien doen we dat ook zodat we het u kunnen bewijzen.
‫Dus we gaan hier, controle, zeg maar wat voor gegevenstype is?
‫Daar is 64 een algemeen dagtype, terwijl Maine een specifieke tijd is.
‫Daar gaan we.
‫Dit is stapeloverloop, dus dit is gewoon een workflow, als je iets niet krijgt.
‫Daar gaan we.
‫MPLX punt d type dag 64 is gelijk aan NPD type nacht.
‫Dat is waar we naar op zoek zijn.
‫Maar nu onze data zijn verstreken, laten we dezelfde gedachte doen als voorheen.
‫Tofig X is gelijk aan Palta subplots.
‫Prachtig.
‫En we gaan precies hetzelfde doen, eckstut scatter.
‫We maken deze video zo af, eigenlijk omdat we haast hebben, toch?
‫We zijn aan het leren.
‫We zijn aan het verkennen.
‫Verkoopprijs, en dan gaan we hierheen, we doen er duizend en kijken wat er anders uitziet.
‫Prachtig om te zien hoe op de bodem, in plaats van wanneer we hier weer naar boven
‫komen, we gewoon een hele hoop zwart hebben omdat we proberen al deze daar neer te zetten omdat onze saudade-kolom nu de vorm heeft
‫van een dag voorwerp.
‫Matplotlib is in staat om intelligent naar het gegevenstype te kijken en dienovereenkomstig te plotten.
‫Dus we hebben hier prijzen.
‫Dus je kunt zien dat er veel wordt verkocht, misschien 25.
‫Er is iets gebeurd.
‫Dus er waren niet veel verkopen in 2005, 2008, ik denk dat dat de financiële crisis was of iets
‫dergelijks.
‫Er was hier dus niet al te veel verkocht.
‫En dan nog, dat is tussen 2008, 2009.
‫En we kunnen zien dat de hoogste verkoop pas in 2007 werd gedaan.
‫En dan zijn er veel verkopen rond het midden van 2009, 2010.
‫Maar nogmaals, dit zegt ons niet zoveel.
‫Rechts.
‫We krijgen net een idee van wat er aan de hand is.
‫Dus laten we nog een keer kijken.
‫Kijk eens aan, sukkel.
‫Dit zijn onze gegevens waar we mee werken.
‫We hebben hier verkooporders, verkoopprijzen, een heleboel verschillende kolommen.
‫We kunnen zien dat er een heleboel ontbrekende waarden zijn.
‫En als we meer willen weten over wat onderwagen Padworth betekent, onthoud dan dat we ons
‫datadictionary hebben.
‫We kunnen hier een kijkje nemen.
‫Daar gaan we.
‫Machineconfiguratie, breedte van crawler-transacties.
‫Prachtig.
‫Dus nu hebben we een beetje onderzoek gedaan, wat we zouden kunnen doen is ons dataframe sorteren op saudade en dan
‫verder gaan, wat meer wijzigingen aanbrengen.
‫Dus we zullen dat in de volgende video doen, maar probeer anders het dataframe te verkennen, het te importeren en te
‫proberen de datums met saudade door te geven en de datums niet door te geven en het verschil in gegevenstype te controleren wanneer je
‫dat doet en geen data doorgeven.