‫Welkom terug.
‫En in de laatste video zagen we hoe we de voorspellingsmethode konden gebruiken om
‫voorspellingen te doen zonder machine learning-modellen, uitgeruste machine learning-modellen op regressiemodellen of regressieschatting zoals in de
‫paranormale leerterminologie.
‫Dus laten we eens kijken wat we behandelen, wat we behandelen.
‫Dus we hebben nul één tot drie gedaan.
‫We hebben enkele voorspellingen gedaan over onze gegevens, want dat is wat het uiteindelijke doel van machine learning is
‫om een soort voorspelling te doen.
‫We hebben enkele bestaande gegevens.
‫We willen graag een algoritme op die gegevens proberen om patronen te vinden en die patronen te gebruiken om voorspellingen te doen
‫in de toekomst.
‫Dus net zo belangrijk als het maken van die voorspellingen is het evalueren van die voorspellingen.
‫Dus laten we daarop inspringen.
‫Ik ga hier een nieuwe kop schrijven.
‫Heb er 4. 0 evalueren van een machine learning-model.
‫De reden dat we onze modellen evalueren, is omdat we een model hebben gebouwd om iets te voorspellen, en dat
‫vervolgens in een toepassing wilden zetten.
‫Als ons model slechte voorspellingen doet, zou dat dan een geweldige ervaring zijn voor iedereen die die
‫applicatie gebruikt?
‫Waarschijnlijk niet.
‫Dus voordat we onze modellen in de applicatie stoppen of iets voorspellen dat behoorlijk kritisch gaat worden,
‫willen we de bestaande voorspellingen evalueren die we kunnen.
‫Dus met Typekit Learn zijn er drie manieren om goed te evalueren, drie ingebouwde manieren om je
‫eigen aangepaste wegingen te maken, maar drie manieren om slash-schattingen van socket-lijnmodellen te evalueren.
‫Deze maken deel uit van deze Typekit-lijnbibliotheek.
‫Een daarvan is dat de schatting is ingebouwd in de scoremethode.
‫Daar hebben we tot nu toe een beetje ervaring mee.
‫Twee is de scoreparameter.
‫We hebben die ene scoreparameter die we mogelijk hebben niet gezien.
‫Eigenlijk hebben we veel behandeld, maar we gaan door elk van deze en dan probleemspecifieke
‫metrische functies.
‫Dus afhankelijk van uw werk met classificatie of regressie, zullen er specifieke evaluatiestatistieken zijn voor
‫elk van die probleemtijden.
‫En waar halen we dit vandaan?
‫Nou, dit komt in de documentatie van de socketlening.
‫Dit zijn statistieken en scoren is een heel belangrijk onderdeel.
‫Dit is trouwens je eigenlijke curriculum.
‫Om dit door te lezen hoeft u deze niet allemaal uit uw hoofd te kennen, maar begrijpt u wel
‫waar u deze informatie kunt vinden.
‫Dat is allemaal een groot deel van het zijn van een programmeur en vooral een machine learning-ingenieur.
‫Een datawetenschapper weet gewoon waar hij moet zoeken, waar hij dingen kan vinden.
‫Dus ik ga dit hier plaatsen, en ik heb de drie verschillende API's genomen.
‫We hebben dus de geschatte schoolmethode, de scoreparameter en de metrische functies.
‫Laten we beginnen om elk van deze op te splitsen.
‫Hé, ik ga dat hier brengen.
‫En dan zal ik dit hier plaatsen.
‫Hier kunt u meer over lezen.
‫Prachtig.
‫Dus laten we een samenvatting geven van de scoremethode, en ik ga dit formatteren om het er mooi en mooi uit te laten
‫zien.
‫Bal erin - prachtig.
‫Laten we een samenvatting geven, dus ik ga het een beetje, niet een kleine kop hier zetten.
‫Vier punt één We gaan een model evalueren met de scoremethode.
‫Verander dat in afwaardering en we gaan van S. K. geleerd ensemble import Random Forest Classifier.
‫Dus we doen het met onze classificatiegegevens.
‫Eerste MP, willekeurig zaad.
‫Tweeënveertig.
‫Nu wil ik jou.
‫Ik wil dat je je geeft.
‫Geef je hier een uitdaging.
‫Maak X en Y.
‫Ik ga hier wat opmerkingen achterlaten.
‫Maak X en Y.
‫Treintest maken.
‫Dus dit wordt X is gelijk aan hartziekte, iets dat we gebruiken in onze dataset voor hartziekten en dat
‫we willen creëren.
‫Ik ga hier gewoon naar de instantie van het classificatiemodel en pas de classificatie vervolgens aan de trainingsgegevens aan.
‫Dus dat is mijn uitdaging aan jou.
‫Ik ga je de video hier plaatsen en proberen deze reacties zelf in te vullen,
‫maar ik kom er over drie op terug.
‫Een op de achterkant, dus ik hoop dat je dat een kans hebt gegeven om deze in te vullen, maar als dat niet het geval is, is dat goed.
‫We gaan ze samen doornemen.
‫We hebben deze code hier net geschreven, en dit is een van de weinige keren dat ik je
‫ooit code laat kopiëren en plakken alsof we dingen hebben gekregen, als we dingen herschrijven die we een aantal hebben geschreven
‫keer eerder.
‫Dus ik ga dit kopiëren.
‫Ik ga dit naar beneden halen.
‫We bekijken de scoremethode, dat is de eerste die we bekijken, dus laten we die kopiëren en
‫plakken.
‫Dus willekeurig opslaan, de gegevens maken, de gegevens splitsen, een willekeurige bosclassificatie instantiëren.
‫Nu geloof ik, ja, een schatting is standaard 100.
‫We laten het er toch maar bij.
‫Pas het model aan de trainingsgegevens aan.
‫Dus laten we dit mooi laten verlopen.
‫Dus we hebben een geschikte willekeurige bosclassificatie.
‫Lekker snel.
‫En hoe denk je dat we de scoremethode gaan gebruiken?
‫En dit is een beetje een strikvraag, want we hebben net gezien dat het hierboven uit de cel kwam waar
‫we dit allemaal hebben gekopieerd.
‫Dus laten we het proberen, Cliff, niet scoren.
‫En wat als we de scorer proberen op die trainingsgegevens 1. 0?
‫Nu, waarom zou het een score van 1 kunnen krijgen. 0 op de trainingsgegevens als we ons de hoogste waarde voor score
‫voorstellen, trouwens, wat is dat?
‫Ik schrijf dit gewoon expliciet op.
‫De hoogste waarde voor de scoremethode is 1. 0, het laagste is nulpunt nul, dus 1. 0.
‫De standaardscoremethode voor een classificatie-algoritme is nauwkeurigheid.
‫Retourneer de gemiddelde nauwkeurigheid op de gegeven testgegevens en labels.
‫En nu moeten we dit natuurlijk omrekenen naar een percentage als we nauwkeurigheid in procenten willen.
‫Dus 1. 0 is 100 procent nauwkeurigheid.
‫Dus als dit nul komma acht was, zou het een nauwkeurigheid van 80 procent zijn.
‫Waarom krijgt ons machine learning-model 100 procent een perfecte score?
‫Heb ik je al gezegd dat je sceptisch moet staan tegenover elk machine learning-model dat overal een perfecte score haalt?
‫Als dat niet het geval is, bedenk dan dat ik u vertel dat u altijd sceptisch moet zijn over perfecte statistieken.
‫Waarom haalt ons model één punt uit de trainingsgegevens?
‫Nou, dat komt omdat het is blootgesteld aan alle trainingsfuncties en alle
‫trainingslabels.
‫En dus als het model krachtig genoeg is, zal het een perfecte score behalen op de trainingsgegevens
‫omdat het de gegevens kan splitsen.
‫In ons geval is het binaire nul één.
‫Het is in staat om uit alle extreme waarden te voorspellen.
‫Het is in staat om perfect alle Y-treinwaarden te voorspellen.
‫Nu is het misschien een ander scenario voor de testdag om te onthouden.
‫Het heeft de testmonsters nog niet gezien.
‫We willen dat ons model genoeg leert van de trainingsfuncties en de trainingslabels om te voorspellen op monsters die we
‫nog niet eerder hadden gezien.
‫Dat is de kern van machine learning, leerpatronen en gegevens die we hebben om voorspellingen te doen, kwaliteitsvoorspellingen te doen
‫op gegevens die we nog niet eerder hebben gezien.
‫Oh, dus de score is iets minder op de ongeziene gegevens.
‫Dit is een trend die je vaak zult zien in je eigen machine learning-projecten en overal
‫in machine learning onderzoekspapers.
‫De trainingsscore is meestal soms een stuk hoger dan de testscore, maar ze zouden relatief dicht bij
‫elkaar moeten liggen.
‫Maar de training zal over het algemeen hoger zijn dan de testscore.
‫En als u ooit een perfecte testscore krijgt, zoals 100 procent nauwkeurigheid of iets dergelijks, wees dan altijd
‫sceptisch, ga terug en controleer uw gegevens.
‫Maar als we ons model een beetje slechter hebben gemaakt en misschien maar vijf schattingen gebruiken, laten we eens kijken wat hier
‫gebeurt.
‫Aantal schatting als gelijk aan vijf.
‫Wat is de trainingsschool?
‫Zie je hoe we een minder dan perfecte score krijgen?
‫Hoeveel kunnen we pushen om perfect te worden?
‫Daar gaan we.
‫Er zijn er maar 10 nodig.
‫Dat is de kracht van een ensemble-algoritme.
‫Wat als we er maar twee gebruiken?
‫Wat krijgt het?
‫Krijgt nog steeds 90 procent met slechts twee, maar hoe presteert dat?
‫Kijk, we krijgen een veel slechtere score, dus dat is het ensemble-algoritme.
‫In een notendop, het willekeurige bos is een van de krachtigste en snelste ensemble-algoritmen, dus we
‫gebruiken 10 hier krijgen we een perfecte score op de trainingsgegevens.
‫Wat als we het opdrijven tot misschien 500?
‫Kunnen we de testscore hoger duwen?
‫We krijgen eigenlijk niet zo'n hogere testscore, zelfs als we er misschien duizend gebruiken.
‫Je zegt hoe je verschillende dingen kunt tweaken met machine learning-modellen.
‫Dit is het leuke eraan, toch?
‫Is het aanpassen van verschillende dingen en het krijgen van verschillende resultaten.
‫Laten we nu vooruit gaan.
‫We hebben de schoolmethode voor classificaties gezien.
‫Onthoud dat de standaardscore-evaluatiestatistiek in classificatiemodellen en socketlijn de nauwkeurigheid is die u kunt vinden
‫op de dockstring.
‫Laten we hetzelfde doen.
‫Laten we de scoremethode gebruiken voor ons regressieprobleem.
‫Dus.
‫Dat laat ik aan jou over.
‫Ik zou graag willen dat je dit repliceert, maar voor een regressiedataset en het gebruik van een regressie-algoritme en het testen van de scoremethode, zal
‫ik je een hint geven dat we dit eerder hebben gedaan.
‫Maar ik wil dat je het deze keer zelf probeert op te schrijven.
‫Doe hetzelfde instellen, instellen.
‫Maak de data, splits de data.
‫Zorg dat het model bij het model past.
‫Scoor het model.
‫Ik zie je in de volgende video.