‫Nu hebben we de hyperparameters van ons logistische regressiemodel gezien, en het krijgt
‫hier een behoorlijk goede score, maar onthoud deze score, de standaardscore voor een classificatie is nauwkeurigheid.
‫Wat we nu willen doen, is een aantal evaluatiestatistieken rond ons model maken die een beetje verder gaan dan
‫nauwkeurigheid.
‫Laten we meer specifiek ons afgestemde machine learning-model maken, eigenlijk classifiers voor machine learning voor een
‫betere.
‫Deze evaluatiestatistieken zijn specifiek voor classificatie, dus we gaan verder dan nauwkeurigheid.
‫Dus nogmaals, meer specifiek willen we een RSI-curve en een U. S. scoren.
‫We willen ook een verwarringsmatrix, waarin fouten worden aangebracht die er echt uitzagen alsof het uit The Matrix kwam met
‫veel cijfers.
‫Je weet wel, dat vloeiende groene scherm, ze willen een classificatierapport.
‫Wat willen we nog meer?
‫We willen nauwkeurige terugroepacties en F1-scores, en dat zou geweldig zijn.
‫En het zou mooi zijn als waar mogelijk gebruik wordt gemaakt van kruisvalidatie.
‫Dus laten we dat omzetten in prijsverlagingen.
‫Dit is waar we aan gaan werken, we zullen ons ouderwetse raster zoeken,
‫logistisch regressiemodel gebruiken, evenals het beste type parameters ervoor.
‫En we zullen zo zien waar ze in het spel komen.
‫Dus allereerst, als we een model evalueren, vergelijken we altijd hoe de voorspellingen van een getraind
‫model zich verhouden tot de waarheidslabels.
‫Dus wat we moeten doen is eerst wat voorspellingen doen, zodat we ze kunnen vergelijken met de waarheidslabels, a. k. A.
‫de labels in de dataset waarom-test.
‫Dus laten we dat doen.
‫Oké, een opmerking hier om vergelijkingen te maken en ons getrainde model te evalueren.
‫Eerst moeten we voorspellingen doen.
‫Dus wat we gaan doen is voorspellingen doen met een afgestemd model en er is een mooie functie genaamd voorspellen die we daarvoor kunnen gebruiken, dus
‫we zullen het opslaan in waarom parades?
‫Wij gebruiken G S. Log Regg, wat slechts onze treinversie is van ons rasterzoekmodel, Segers Log.
‫Regg, niet voorspellen.
‫En we gaan voorspellen op de testgegevens waarom.
‫Prachtig.
‫En laten we ze eens bekijken om er zeker van te zijn dat we niet gek worden mooi.
‫En nu moeten we ze vergelijken met de testdataset.
‫Hier kijken we dus even naar.
‫Oké, dus als we naar nul nul wilden gaan, kunnen we weten dat het deze fout heeft.
‫Moet dat daar een nul zijn?
‫Omdat dit de waarheidslabels zijn en dan zouden we daar door kunnen gaan, maar dat gaan we
‫niet doen.
‫We willen daarvoor een code gebruiken.
‫Om te beginnen willen we de curve rocken, want onthoud dat we deze kleine lijst hebben,
‫een upstroke-curve en AUC-school.
‫Hm.
‫Wat is een rotscurve?
‫Nou, als we naar boven keken en wat is een rotscurve.
‫We hebben dit proces doorlopen om A. S. Rockhead, dus als we dit zouden doorlezen.
‫Wat we zouden krijgen, is dat de rots wordt gemaakt door de werkelijke positieve frequentie uit te zetten tegen de
‫fout-positieve frequentie bij verschillende drempelinstellingen.
‫OK mooi.
‫Dus laten we eens kijken hoe we dat doen, de rotscurve is een manier om te begrijpen hoe uw model
‫presteert door het werkelijke positieve percentage te vergelijken met het fout-positieve.
‫Rechts.
‫En als we willen weten wat een echt positief en een vals positief is, kunnen we
‫daarvoor onze verwarringsmatrix bekijken.
‫Dus een echt positief model voorspelt één wanneer de waarheid één is en een vals-positief is slechts het model voorspelt één wanneer de
‫waarheid nul zou moeten zijn.
‫En een perfect model krijgt een oog, je ziet school, wat we zien in een seconde van 1. 0.
‫Dus laten we eens kijken hoe we het doen.
‫Dus importeer de RISC-curvefunctie van Escalon, dot-matrix.
‫Daar komt het vandaan.
‫Daar leeft het.
‫Maar we hebben dit eigenlijk al gedaan, net als bij alle andere Skyland-functies die we helemaal bovenaan
‫hebben gebruikt.
‫Helemaal terug hier.
‫Dit zijn dus modelevaluaties op dit moment in deze volgende sectie.
‫In deze volgende video gaan we alles vanaf hier aanpakken.
‫Dus deze zijn die we kunnen zien, hier hebben we een randomizer van een rasterzoekopdracht, een verwarringsmatrixplotcurve. We staan op
‫het punt om nauwkeurige schoolrecords te gebruiken, school, EF1, school.
‫Deze zijn dus voor ons classificatiemodel.
‫Dus laten we naar beneden gaan.
‫We kunnen onszelf een regel code besparen, die hoeven we eigenlijk niet te importeren.
‫We komen hier zo terug, we kunnen de Roc-curve plotten.
‫Dit is een relatief nieuwe toevoeging aan deze tweedelijnsbibliotheek, waar ik heel, heel blij mee
‫ben, omdat je deze meestal op je eigen disfunctie moest schrijven, deze plotcurve, en berekenen dat het de
‫U berekent. S. metrisch voor ons.
‫Dus het gebied onder de curve, laten we het in actie zien en dan de curve plotten.
‫G. S. Law, Greg, en als we dit opzoeken in de documentatie en ons zullen vertellen wat het doet,
‫parsad, een schatting hiervan is ons machine learning-model bij X procent Y plot-ontvanger-werkingskarakteristiek, a.
‫k. A. Roc-curve.
‫Dat is wat dat voor ons gaat doen.
‫Mooie dingen zoals Wragg X testen en we wilden het doen op de testdataset.
‫Altijd evalueren.
‫Dit moet worden berekend, evalueer altijd uw machine learning-modellen in de testgegevensset en laten we eens kijken.
‫Oh mooi.
‫Oké, onthoud dus een perfecte curve die we in eerdere video's hebben gezien.
‫We kwamen naar deze hoek en staken daar zo over, maar Elstein zit redelijk goed en we krijgen een gebied onder
‫de bocht.
‫Dus als we al dit gebied hieronder van nul komma negen drie hebben berekend, zal een perfect model natuurlijk
‫1 bereiken. 0 als ons model.
‫Niet perfect, maar het is een act score van nul komma negen drie als het gemiddelde van net.
‫Een munt opgooien zou in wezen nul komma vijf zijn, dus we komen in de buurt van een perfect model, niet slecht voor
‫een model dat net uit de doos kwam.
‫Oke.
‫Het volgende dat we willen doen.
‫Het is een verwarringsmatrix, dus laten we zeggen dat een verwarringsmatrix, hoe zouden we dat kunnen doen?
‫Dus ik denk dat lijn een functie heeft en ik denk niet dat ik socket ken.
‫Het heeft een functie.
‫We kunnen verwarring, matrix, en we willen de grondtroepen vergelijken met de voorspelde niveaus.
‫Oké, ik zou het gewoon zo kunnen laten.
‫Dat is een beetje flauw.
‫We kunnen de visualisatie van deze verwarringsmatrix verbeteren met behulp van.
‫Seabourne, dat is wat je wilt.
‫Dus we willen gaan.
‫Ik geloof dat we Seabourne hier al hebben.
‫Ja, ik doe S. A. S. , ja, dat doen we.
‫Dus we hebben je al eerder in dit project gezet, zodat we kunnen gaan.
‫Wat ik zou kunnen doen, is dat ik van tevoren weet dat we een grotere lettergrootte nodig hebben.
‫Lettergrootte is gelijk aan één komma vijf.
‫Dat is gewoon niet ingesteld.
‫En we gaan hier een kleine functie maken voor het geval we nog een verwarringsmatrix
‫willen maken, omdat de verwarringsmatrixfunctie van de cycloon niet voldoet aan het begin van het maken van deze video. Misschien is
‫dat altijd een gelegenheid voor een pull-verzoek.
‫Dus we gaan hierheen.
‫Lekker simpel, dus we gaan deze functie gewoon testen.
‫Labels en onze voorspelde labels, en dan gaan we mooie plotts maken,
‫een mooie verwarringsmatrix met behulp van seaboards, we hebben dit eerder gezien met heightmap.
‫Prachtig.
‫Dus we hebben een grote X is gelijk aan T-punt subplots, grote grootte is gelijk aan drie drie o shift end om weer gelukkig te triggeren
‫X is gelijk aan sinistere hittekaart.
‫Prachtig.
‫We gaan de psychische lijnfunctie-site-verwarringsmatrix poneren.
‫Waarom testen.
‫Waarom Freds.
‫En dan willen we hier toevoegen en niet zo annoteren, ja, alsjeblieft, annoteren is gelijk aan waar.
‫En we gaan naar de bar omdat we niet naar Colaba willen, omdat ik de Taliban heb gezien,
‫het ziet er niet zo goed uit op een verwarring matrixx penalty don't ex label.
‫Betrouwbaar.
‫En dan gaan we opleggen waarom aansprakelijk, gaan voorspelde smaad en laten we het zien.
‫Dus we hebben veel wiskundige verwarring.
‫Matrixx, waarom testen?
‫Waarom parades?
‫Oh, wat hebben we gedaan, lettergrootte?
‫Die zak Fonzi is verkeerd.
‫Wat is deze O-schaal?
‫Hé, we hebben een tab.
‫Waar ik het voor kan spelen is klassiek en het geeft ons dit kleine afgesneden
‫ding hier, dus we kunnen dit oplossen, geloof ik, door bovenaan te gaan omdat x niet begrijpt waarom limn.
‫Ja.
‫En dan willen we X-dot set William gaan.
‫Maak het een beetje mooi, Whitom, en het wordt onderste laatste punt vijf bovenste min nul punt vijf.
‫Nu, natuurlijk, als je in de war bent, Matrix zag er goed uit, je hebt deze regels misschien niet nodig,
‫maar dat maakt niet uit.
‫Daar gaan we.
‫We zien er misschien wat beter uit.
‫Je kunt dus zien dat het model in de war raakt.
‫Dus voorspelt het verkeerde label relatief hetzelfde in beide klassen.
‫Dus in wezen zijn er hier vier gelegenheden waar het model nul voorspelde.
‫Het voorspelde label voorspelde zo dat iemand geen hartziekte had, terwijl dat wel voorspeld had moeten
‫worden.
‫Dat is dus een vals negatief.
‫Dus het voorspelt nul in plaats van één, een vals negatief.
‫Onthoud, als we hier terugkomen, voorspelt een vals-negatief model nul wanneer de waarheid wordt gewonnen.
‫En hier zijn de valse positieven.
‫Dus, oké, we hebben hier drie gevallen waarin een model voorspelt, één, iemand heeft een hartziekte terwijl ze
‫die eigenlijk niet hebben.
‫En je kunt zien dat dit beide dingen zijn die we willen vermijden.
‫Rechts.
‫Vooral als je denkt aan iets dat zo ernstig of zo ernstig is als hartziekte, zelfs voorspellen wanneer het
‫niet aanwezig is.
‫Dus hier, als we nul voorspellen, dus geen ziekte als die aanwezig is.
‫Oké, dat is slecht.
‫Maar ook voorspellen dat het er is terwijl het er niet is, dat is ook slecht.
‫Daar moet je dus rekening mee houden als je dit soort modellen gaat bouwen.
‫Is een vals-negatief erger of is een vals-positief erger?
‫En nogmaals, een perfect model zou dit allemaal niet hebben.
‫Maar in werkelijkheid zul je hier waarschijnlijk een soort van verwarring krijgen met je model.
‫Idealiter zou je dit niet doen, deze zouden hier perfect zijn, aan de andere kant van de lijn.
‫Nu hebben we een verwarringsmatrix gemaakt.
‫Dat hebben we daar.
‫Dat zouden we met onze baas kunnen delen.
‫Dat zouden we kunnen delen met onze baas rocker daar.
‫Wat is het volgende?
‫Classificatie rapport?
‫OK, en het zou geweldig zijn als waar mogelijk kruisvalidatie zou worden gebruikt.
‫Oké, dus dat is wat we in de volgende video kunnen aanpakken.