‫We hebben onze gegevens nu in X, trein Y, trein X-validatie, Y-validatie, maar in een eerdere video hebben we ons
‫model geëvalueerd met behulp van deze scorefunctie.
‫Wat gebruikt de schoolfunctie, het gebruikt de determinatiecoëfficiënt, maar als we het ons herinneren, gaat de
‫top er weer uit, gewoon om het te controleren, omdat we dit hebben opgeschreven.
‫We weten dat de evaluatiemaatstaf voor deze wedstrijd, dus voor dit project waar we aan
‫werken een SLA is, of met andere woorden, root mean squared log error.
‫Dat is niet hetzelfde als determinatiecoëfficiënt.
‫En als je je afvraagt waar we deze evaluatiefunctie vandaan hebben gehaald: het komt uit de overzichtsevaluatie van de
‫koecompetitie, die we meteen aan het begin zagen.
‫Maar dat gaan we gewoon nog een keer bekijken.
‫Evaluatie.
‫Dus de evaluatiestatistiek voor deze wedstrijd is de AR en we kunnen dat zeker googlen om te zien wat
‫het eigenlijk is.
‫Laten we hierheen gaan.
‫Wortel betekent kwadraat Laurita.
‫Wat is het verschil tussen hoe interpreteer je root mean squared error?
‫Oké, dus we hebben daar een paar opties.
‫Dus als je verder wilt lezen, dit kun je opzoeken, maar we gaan dit
‫in code doornemen.
‫Laten we naar beneden gaan.
‫Je vraagt je misschien af waarom we de root mean squared log-fout niet hebben gezien of echt hebben genoemd.
‫Dat is op zich al een hele mond vol.
‫Dus wat we zouden kunnen doen, we zullen onze eigen evaluatiefunctie moeten creëren, want als we terugkomen
‫op onze keynote.
‫Dus classificatie- en regressiestatistieken die hier aan het regressieprobleem werken, dit is een van de dia's
‫van, denk ik, de uitleensectie.
‫We hebben een absolute hoofdfout.
‫Ik bedoel, kwadratische fout, MSI, OK, root mean squared error.
‫Maar dit mist de logcomponent.
‫Eens kijken of we dat via Escalon binnen kunnen krijgen.
‫Dus we gaan hier terug.
‫Wat we zouden kunnen doen, is ons eigen gebouw bouwen en een evaluatiefunctie.
‫Dit is iets dat u mogelijk moet doen, afhankelijk van het project waaraan u werkt.
‫Rechts.
‫Dus als we aan deze kabelwedstrijd werken en ze zeggen dat we om de een of andere reden deze statistiek
‫moeten gebruiken, wie weet?
‫De mensen die deze challenge hebben geplaatst hebben hier wellicht behoefte aan.
‫Ze hebben misschien besloten dat dit hun beste evaluatiestatistiek is.
‫Afhankelijk van het project waaraan u werkt, moet u mogelijk een evaluatiefunctie vinden die het beste
‫bij uw gebruiksscenario past.
‫Dus wat we gaan doen, is een waarderingsfunctie creëren, omdat we meerdere experimenten gaan uitvoeren,
‫we willen meerdere verschillende machine learning-modellen voeden en evalueren.
‫Daarom gaan we het in een functie inbouwen, zodat we deze functionaliteit meerdere keren kunnen gebruiken zonder onszelf te hoeven herhalen, omdat
‫we nogal lui zijn als het gaat om het schrijven van al deze code, weet je?
‫Ik wil gewoon meer en meer experimenteren en een waarderingsfunctie creëren.
‫De concurrentie maakt enorm gebruik van root, mean, square Loewer.
‫Dus we kunnen van Skyline, Dot, Matrix gaan, kan ik je vertellen.
‫Dus ik leer.
‫Je zou naar de Escalon Evaluation Metrics kunnen gaan, maar we kunnen hier doornemen, we kunnen
‫enkele evaluatiestatistieken bekijken, gemiddelde kwadratische logfout.
‫Oké, dus die kunnen we gebruiken.
‫Ik bedoel, kwadratische logfout, maar we zullen er ons eigen stukje aan moeten toevoegen, want dit is
‫niet langer in het kwadraat.
‫Dus wat we zouden kunnen doen, is dat ze deze zouden kunnen nemen.
‫Dat kunnen we importeren.
‫Laten we dat doen.
‫Dus van České leerde metrische gegevens, importeer main squared log-fout en voor de hel zou een absolute fout betekenen.
‫Je doet voorspellingen op alle voorbeelden en dan min je voorspellingen van je werkelijke waarden en neem je
‫het gemiddelde.
‫Dat is een absolute fout.
‫Dus hoeveel is uw voorspelling gemiddeld van de werkelijke verkoopprijs?
‫Maar de belangrijkste kwadratische logfout heeft meer te maken met de verhouding en meestal met regressieproblemen.
‫Rechts.
‫Als je dat wil.
‫Tien dollar korting op zoiets.
‫Dus als we tien dollar korting hadden, zou deze voorspelling van de verkoopprijs er niet echt toe doen.
‫Maar als we 10 procent korting zouden hebben, zou dat behoorlijk slecht zijn.
‫Rechts?
‫Je wilt niet meer dan 10 procent zijn van wat voor waarde dan ook, voeg iets toe.
‫Het kan 20 procent zijn, kan 30 procent zijn.
‫Maar dat is een beetje het verschil tussen deze twee, toch?
‫Elke keer dat je absoluut ziet.
‫Zie het als tien dollar korting en elke keer dat je iets in het kwadraat of een soort logboek ziet, of
‫denk eraan als de verhouding.
‫Dus als je ongeveer 10 procent korting hebt, kun je deze twee echt met elkaar vergelijken.
‫Maar we hebben nog een beetje meer van dat in de dia.
‫Misschien wil je daar een screenshot van maken.
‫Dat is een mooie, maar dit komt allemaal in de dia te staan.
‫U kunt later uitchecken.
‫We willen een evaluatiefunctie creëren.
‫We hebben een main squared log-fout.
‫Dus hoe zouden we dat veranderen in root mean squared log.
‫Dus laten we het proberen.
‫Dus misschien gaan we hierheen.
‫Ik wil root niet typen, dat is te veel r.
‫S Emslie wortel betekenen.
‫Kwadraat Laguerre, mooi, en dat kan gewoon een test zijn en waarom parade dezelfde invoer
‫zal nemen als mijn Saikat-leerfuncties om te zien hoe dit waar is, waarom lees het zou waar kunnen zijn.
‫Het kan een y-test zijn.
‫Maakt niet echt uit waarom testen.
‫En dan gaan we hier, we laten een beetje prutsen voor onszelf.
‫Berekent
‫root mean squared log error.
‫Tussen voorspellingen en echte ware labels, prachtig, en dan komen we myco terug, wat leuk en eenvoudig is, we kunnen
‫gewoon elke vierkantswortel van de gemiddelde kwadratische logfout gebruiken.
‫Het zal dit moeten doorgeven aan de testwaarden en de voorspellingen om kwadratische logorrhea te betekenen.
‫Dat is eigenlijk best makkelijk.
‫Wat we hier doen, we nemen de vierkantswortel.
‫Dus.
‫Rechts.
‫Dus de wortelcomponent van de main squared log error, de main square logorrhea tussen voorspellingen en echte
‫labels.
‫Prachtig.
‫Daarom hebben we onze eigen evaluatiefunctie gecreëerd die aansluit bij de vereisten van Cagle, de 'root
‫mean squaredadvocaat'.
‫OK, en we willen waarschijnlijk nog een paar dingen controleren, zoals we willen een evaluatiefunctie maken om een paar dingen tegelijkertijd te
‫controleren, zodat we niet steeds zoiets als dit hoeven aan te roepen.
‫Laten we dus een functie maken om het model op een paar verschillende niveaus te evalueren.
‫Dus nogmaals, evaluatie is net zo belangrijk als het bouwen van het eigenlijke model.
‫Dus we gaan het model van de showscores horen, dus we zullen het doorgeven.
‫Ons model.
‫We zullen enkele voorspellingen doen over de trainingsgegevens, sommige modellen voorspellen niet.
‫Dus we evalueren hoe ons model het deed op de trainingsgegevens X-trein en dan evalueren we hoe ons model
‫het deed op het validatiegegevensmodel dat niet voorspelt.
‫We zullen het hier doorgeven x validatie als ons model beter presteert op de validatiegegevensset die ons erop wijst
‫dat ons model te veel past.
‫Dus tussen training en validatie, in het algemeen, omdat onze validatieset slechts 12000 voorbeelden heeft en we ons
‫model er niet op trainen, zou je iets slechtere statistieken op de validatieset willen zien, waarbij
‫de trainingsset wordt omgekeerd.
‫Dus we gaan gelijk scoren.
‫Misschien geven we een soort woordenboek terug.
‫Ja.
‫De training en dan bedoel ik, absolute fout.
‫We gaan naar Kitab autocomplete, gemiddelde absolute fout.
‫Ja dat kan ik.
‫Waarom trainen.
‫Dus onthoud, we vergelijken alleen de waarom-trein.
‫Dus dit is de trainingsgemiddelde absolute fout op de trainingslabels versus de trainingsvoorspellingen en
‫mooi.
‫Daarin gaan we valide.
‫Dus nogmaals, je zou verwachten dat dit misschien iets slechter is en dat de training waarom geldig zal zijn?
‫En dit wordt valproaat.
‫En dan gaan we trainen en XLE voor root mean squared error.
‫En we kunnen dit doen met onze mooie kleine functie die we hier zojuist hebben gemaakt.
‫Dit is opwindend door onze eigen evaluatiefuncties te schrijven, misschien is dat een pull-verzoek, potentieel tot
‫psychedelisch.
‫Vraag me af waarom ze geen root mean squared log-fout hebben.
‫Misschien is het niet zo populair.
‫Of misschien kun je het gewoon zo eenvoudig zelf maken.
‫Is dat correct?
‫Waarom train trein hersenen.
‫Ik praat te veel.
‫Praat niet.
‫En de naumkin van Colgate.
‫Je kunt doen wat je wilt.
‫Daar gaan we.
‫Hier FSLIC, behalve niet onder evalueren van uw machine learning-model.
‫Dat is het enige wat je niet mag doen.
‫Iedereen houdt van een goed model, maar iedereen houdt nog meer van een goed geëvalueerd machine learning-model.
‫En tot slot, voor de goede orde, aangezien we hier zijn, laten we de standaardscore doen en die importeren we gewoon.
‫Dat is waarschijnlijk een beetje beter om te proberen te scoren.
‫Wat is de reden waarom dit niet-werkende tabblad automatisch aanvullen me wat problemen geeft, dus we moeten het gewoon vragen op
‫basis van een AA2-score.
‫Ja, vertrouw op je instinct, Daniel.
‫Kom op.
‫Ben naar school.
‫Dus dat is alles wat we daar aan het veranderen zijn.
‫In plaats van iets opnieuw te berekenen, is het gewoon belangrijk.
‫Dit is een redelijk fatsoenlijke functie, ik ga niet liegen.
‫Het regelt een paar dingen en het is waarschijnlijk wat redundantie die we kunnen oplossen.
‫Maar dat klopt.
‫We proberen zo snel mogelijk te experimenteren.
‫Je denkt misschien dat experimenten langzamer worden, maar met je eigen oefening, zonder naar mij te
‫hoeven luisteren en dit soort dingen door te nemen, zul je door experimenten heen zoeven.
‫Jij.
‫Nee, dat is fout, niet?
‫Dit moet Valpreda zijn, het is prachtig, en we gaan de scores teruggeven.
‫Oké, wat hebben we hier gedaan?
‫Daarom hebben we een evaluatiefunctie gebouwd in overeenstemming met wat nodig is voor dit specifieke project.
‫En in ons geval is het het kwadraat van de wortel.
‫Noguera Ik ga hees zeggen dat als ik het blijf doen en we nog een kleine hulpfunctie hebben gecreëerd
‫die een hele reeks andere statistieken gaat doen, een aantal voorspellingen zal doen met behulp van
‫een model waaraan we het doorgeven.
‫En dan gaat het die voorspellingen vergelijken op een hele reeks
‫verschillende speelvelden op de belangrijkste absolute fout, op de root mean squared log error en op de determinatiecoëfficiënt.
‫Dus dat is echt genoeg voor deze ene video die onze eigen aangepaste evaluatiefuncties bouwt.
‫Nu, nogmaals, dit is iets dat je misschien wilt doen voor je eigen projecten, omdat we
‫zoveel mogelijk experimenten uitvoeren.
‫Het is handig om dergelijke evaluatiefuncties te hebben, zodat u snel een heleboel verschillende dingen kunt doen in
‫plaats van dit telkens opnieuw te moeten typen als we een nieuw model proberen.
‫Maar.
‫Laten we een intermezzo verschuiven, onze functies zijn geïnstantieerd en we gaan proberen ze uit te testen in de
‫volgende video.