‫Welkom terug.
‫In de afgelopen paar video's hebben we behoorlijk wat moeite gedaan om onze gegevens in een toegankelijke indeling te
‫krijgen.
‫Nu hebben we dat.
‫Dus laten we snel een kijkje nemen.
‫We hebben Bulleen-labels, onze labels in numeriek formaat.
‫We zullen de eerste twee bekijken, zodat het niet te veel ruimte in beslag neemt.
‫Daar gaan we.
‫Waar en niet waar, we kunnen die heel gemakkelijk als nullen en enen openen.
‫En hetzelfde geldt voor onze bestandspaden, dus dit zijn onze trainingsafbeeldingen hier, en we stopten
‫met bespreken hoe Kagle ons geen validatieset geeft.
‫Dus onze eigen validatieset maken en dus omdat de dataset van Kagle niet komt.
‫Met de validatieset gaan we onze eigen maken en onthouden van lang geleden in machine learning, toen ik
‫het belangrijkste concept won.
‫Machine learning is een drie zes, een. k. A. de trainingsset, de validatieset en de testset.
‫Dus nu hebben we de trainingsset en een testset, maar we willen graag deze validatieset, die lijkt
‫op het oefenexamen.
‫Dus nogmaals, we proberen een machine learning-model op de trainingsset.
‫We evalueren het op een validatieset om te zien of onze experimenten die we op de trainingsset hebben
‫gedaan goed gaan.
‫En dan tot slot, het eindexamen is onze testset.
‫Dus we willen graag deze kleine tussenset om ons eerste experiment te valideren.
‫Daarom gaan we een validatieset maken.
‫En om dat nu te doen, wat zouden we kunnen gebruiken?
‫Wat hebben we in het verleden gebruikt?
‫Ik wil dat je erover nadenkt, dit staat in het gedeelte over de socketlijn.
‫Als je zei dat je probeerde te splitsen, zou je gelijk hebben.
‫Nu kan het een beetje verwarrend zijn omdat er staat en test split.
‫Maar eigenlijk is de functionaliteit van de functie het splitsen van gegevens in twee verschillende sets, een set van een
‫bepaalde grootte en een andere set van een andere grootte.
‫Laten we dat instellen.
‫Maar eerst kunnen we X- en Y-variabelen instellen.
‫Nu, de reden dat we dit doen is omdat.
‫Het is een beetje vervelend om bowlinglabels en bestandsnamen te onthouden.
‫Dus wat we zouden kunnen doen, is X maken, onze standaardvariabele voor uw gegevens, en Y,
‫meestal de standaardvariabele voor uw label.
‫Dus we gaan er gewoon kopieën van maken.
‫Mooi.
‫En nu we met meer dan tienduizend afbeeldingen werken, tienduizend tweehonderdtweeëntwintig, om precies te
‫zijn.
‫Het is een goed idee om eerst met een deel van hen te gaan werken om er zeker van te zijn dat alles werkt voordat
‫we een machine learning-model gaan proberen en allemaal.
‫Dit is iets om op te merken voor je eigen projecten, is dat wanneer je experimenten doet, onthoud wat ons
‫doel is?
‫Het is om de tijd tussen experimenten te minimaliseren, zodat we kunnen achterhalen wat werkt en wat niet.
‫En als we elke keer tienduizend voorbeelden gebruiken, duurt dat even.
‫En als je nog nooit een machine learning-model of deep learning-model hebt getraind in meer dan tienduizend afbeeldingen, dus je
‫hebt geen idee hoe lang dat duurt, dan kun je me op mijn woord geloven dat het lang
‫zou duren.
‫Dus we zullen het waarschijnlijk verkleinen en beginnen met ongeveer duizend afbeeldingen om mee te beginnen en het dan vergroten als we
‫nodig hebben.
‫Dus laten we een briefje voor onszelf schrijven.
‫We gaan beginnen met het experimenteren met duizend afbeeldingen en verhogen indien nodig. Dit geldt
‫niet alleen voor afbeeldingen, maar voor alle soorten machine learning-projecten.
‫En we hebben dit in het verleden gezien met behulp van submonsters van die gegevens.
‫Als je aan een tekstclassificatie werkt en je had honderdduizend e-mails en je wilde classificeren of ze
‫spam waren of geen spam, dan zou je misschien maar met vijfduizend beginnen en dan verder
‫bouwen.
‫Laten we dus een kleine parameter instellen.
‫Stel dus het aantal afbeeldingen in dat u wilt gebruiken om te experimenteren.
‫Nu wil ik je iets heel cools laten zien binnen CoLab, dus we zullen hier een kleine parameter maken.
‫En nu is het in hoofdletters omdat de conventie die je hier en daar zou kunnen zien met
‫deep learning-projecten dat soort parameters is.
‫Dus dingen die je als gebruiker kunt instellen staan vaak in hoofdletters.
‫Dat is waar u deze variabelen kunt zien die vol zijn voor hoofdletters.
‫Dus laten we er duizend gaan doen.
‫En dan in CoLab heeft het zo weinig.
‫Kleine coole tool die je kunt.
‫Het is als een magische functie bij Perram, en nu ben ik deze nog aan het uitwerken, dus misschien kun je een kleine
‫suggestie achterlaten over waar ik kan vinden hoe ik er meer van kan maken als je erachter komt, want ik ken er
‫maar een paar .
‫Nu, kijk hier eens naar.
‫Dus wat we hebben gedaan, is dat we net zijn gegaan, hey, dit is een parameter die we kunnen instellen, een typeschuifregelaar kunnen maken.
‫Het minimum is duizend, het maximum is tienduizend en de stap is duizend.
‫Numb afbeeldingen zijn nu verdwenen.
‫Kijk, als we zo gaan, oh ja.
‫Vijfduizend, vijfduizend.
‫Achtduizend, achtduizend, nou, daar zou ik de hele dag mee kunnen spelen.
‫Dat is iets dat CoLab heeft boven Jupiter.
‫Afgezien van het feit dat het wordt ondersteund door een GBU-preferent.
‫Oké, dus nu hebben we een kleine parameter, we hebben X en Y, laten we Saikat gebruiken, Lance probeert
‫te splitsen.
‫Dus laten we onze gegevens opsplitsen in trein en validatie van modelselectie.
‫Gesplitste treintests importeren.
‫Nogmaals, dit wordt een treintestsplitsing genoemd.
‫Maar de basisfunctionaliteit van deze functie is om te splitsen.
‫U kunt dit handmatig doen door indexering te gebruiken, maar we zullen alleen een functie gebruiken om ons te helpen.
‫Is slechts een gesplitste gegevens in twee verschillende sets in training en validatie van de totale grootte.
‫Geen afbeeldingen.
‫Dat is deze variabele die we hier hebben ingesteld.
‫Voer dat uit, verkoop X, trein X, val, deze keer niet X, test Y, tekening Y val is gelijk aan treintest split
‫X tot aantal afbeeldingen.
‫Dus het gaat alleen om de eerste duizend bestandsnamen, want onthoud dat X alleen onze namen is.
‫We hebben nog een belangrijke afbeelding omdat het een stuk sneller is om met alleen bestandsnamen te werken.
‫En waarom zijn onze labels in booleaanse vorm.
‫En test de grootte, nogmaals, dit is slechts validatie, de grootte zal 20 procent zijn en dan is de willekeurige toestand een beetje
‫zoals het instellen van willekeurige seed, terwijl het is alsof je willekeurig instelt, laten we zeggen, op 40 tot.
‫Dus willekeurige status is gelijk aan 42 is hetzelfde als willekeurig zaad tweeënveertig gaan, en als je niet zeker weet wat MPLX willekeurig
‫zaad doet, is daar een video over.
‫Anders wil je misschien even snel Googlen wat deze willekeurige seed doet.
‫Dus we gaan X-trein om te controleren of alle lengtes van onze gegevens correct zijn, want je zou niet geloven hoe vaak
‫ik ben gebrand omdat mijn gegevens de verkeerde vorm hadden.
‫U bent uren bezig om uw data in de juiste vorm te krijgen.
‫Geloof me.
‫Ik ben daar geweest.
‫Oké, geweldig.
‫Dus we hebben duizend monsters en we hebben een testgrootte van 20 procent, dus dat
‫betekent dat er achthonderd monsters zullen zijn in de trainingssplitsing en tweehonderd monsters in de validatiesplitsing.
‫Laten we dus maar snel kijken.
‫Laten we eens kijken naar de trainingsgegevens.
‫Dus Xchange is om te verifiëren dat we nog steeds op deze aarde zijn, we werken nog steeds met de juiste dingen.
‫Eigenlijk is dat een beetje te veel.
‫Ik moet niet vergeten dat dit volwaardige Gullane-labels zijn, dus er is veel.
‫Dus proberen.
‫We hebben bestandspods, toch?
‫Dat is wat we willen.
‫En het trainen van de labels die we hebben.
‫Labels pesten, dat is waar we naar op zoek zijn.
‫Oké, dus nu we onze gegevens hebben in een trainings- en een validatieset, een kleine subset, let wel, want onthoud, ons
‫doel om mee te beginnen is om de tijd tussen experimenten te minimaliseren.
‫Wat we waarschijnlijk uiteindelijk kunnen doen, is onze afbeeldingen omzetten of op zijn minst functionaliteit creëren om onze
‫afbeeldingen en labels in Tensas te veranderen.
‫Laten we dat doen in de volgende video.