‫Nu hebben we het zojuist gehad over nauwkeurigheid als een methode om onze classificatiemodellen te evalueren, en je zou kunnen denken,
‫waarom kunnen we het daar niet bij laten?
‫Welnu, terwijl we deze andere statistieken hier doornemen, zult u beginnen te begrijpen waarom het belangrijk kan zijn om
‫nog een paar verschillende evaluatiestatistieken op het bord te krijgen in plaats van alleen nauwkeurigheid.
‫In mijn geval, toen ik voor het eerst leerde classificatiemodellen te bouwen, dacht ik altijd: ja,
‫een hogere nauwkeurigheid is beter.
‫Rechts?
‫En dan langzaam, na verschillende voorbeelden te hebben bekeken, begin ik te beseffen, OK, nu zie ik de waarde in
‫van het gebruik van andere statistieken zoals deze, maar laten we er niet over praten.
‫Laten we het in actie zien.
‫De volgende die we gaan behandelen is het gebied onder de ontvanger, dus het gebied onder de werkende
‫karakteristieke curve van de ontvanger.
‫Het mooie is dat het ook bekend staat als een U. S. Dus area under curve of ossy.
‫Dus bedieningskarakteristiek van de ontvanger.
‫Dus laten we deze RRC-curve doen.
‫Dit zijn dus de twee dingen waar je op moet letten.
‫Gebied onder curve of rotscurve.
‫Ik zou het hier neerzetten.
‫Zie je of.
‫Rakove, mooi, dus als je iemand hoort praten over AUC of ARACY of Rock of iets dergelijks, hebben ze het
‫waarschijnlijk over deze statistiek hier.
‫Wat meet nu een rotscurve?
‫Welnu, volgens de formele definitie is een rotscurve een vergelijking van de werkelijke positieve waarde van een model versus de vals-positieve
‫van een model.
‫Rechts.
‫Laten we dat opschrijven.
‫Hier volgt een vergelijking van de werkelijke positieve waarde van een model, ook wel bekend als TPA, versus de fout-positieve waarde van een
‫model.
‫Rechts.
‫Dat wordt ook wel FPO genoemd.
‫Nu vraag je je misschien af, OK, wat is waar, positief en wat is een vals positief?
‫Nou, laten we hier eens kijken.
‫Een echt positief adelaarsmodel voorspelt er een wanneer de waarheid er een is die logisch is.
‫Dus in ons geval, als we hier naar boven kijken, als echte doelen één of nul zijn, is een echt positief wanneer ons
‫model een één voorspelt.
‫Het echte label is een één.
‫Oké, ja, dat is logisch.
‫Dus als we hierheen gaan, een vals positief model voorspelt een wanneer de waarheid nul is.
‫Dus waarom heet het vals positief.
‫Nou, het is omdat het er een voorspelt.
‫Dus de positieve klasse heeft een hartziekte terwijl de waarheid eigenlijk nul is.
‫Dus het geeft ons een vals positief gevoel dat een persoon een hartaandoening kan hebben in ons
‫specifieke geval voor het classificatieprobleem van hartaandoeningen.
‫En als we dan hierheen gaan, een echte negatieve.
‫Het model van Google voorspelt nul wanneer de waarheid nul is.
‫Dus dat is logisch.
‫Dus dat is voorspellen dat het model de juiste voorspelling krijgt.
‫Er wordt voorspeld dat iemand geen hartziekte heeft terwijl ze die eigenlijk niet hebben.
‫Dat is geweldig.
‫En dan voorspelt een vals negatief is gelijk aan model.
‫Wat denken jullie dat deze zal zijn?
‫Fout negatief.
‫We kijken naar vals positief.
‫Een vals-negatief is wanneer het model nul voorspelt wanneer de waarheid wordt gewonnen.
‫Dus dat komt omdat het geen hartziekte voorspelt, terwijl het eigenlijk een hartziekte is, toch?
‫Dus nu we deze kennen, kunnen we zien dat een rotscurve een vergelijking is van het echte positieve van een model.
‫Rechts.
‫TPA versus typefouten overal.
‫En kom op, dit is een vals positief model van een model, toch.
‫Of fpr.
‫Dus nu weten we dit.
‫Laten we het in actie zien, zodat we dit kunnen doen met behulp van Saikat Loans Metrics Library, we gaan
‫de curve importeren, zie Rakove onze curve en dan gaan we voorspellingen doen met waarschijnlijkheden.
‫En hoe kunnen we voorspellingen doen met waarschijnlijkheden.
‫Dat zagen we bij het doen van voorspellingen.
‫We kunnen dat doen met waarom probs gelijk is aan clifftop, voorspelling voor waarschijnlijkheid.
‫We gaan wat voorspellingen doen op de testgegevens.
‫Nu wil ik er zeker van zijn dat we dat misschien doen wanneer we creëren.
‫Maak een X-test om er zeker van te zijn dat het de juiste X-test is, data X-test.
‫Enzovoort. , Dus we willen hier X trein, X test gaan.
‫Waarom trainen, waarom testvoertuigen trainen om te splitsen x Y grootte is gelijk aan nul komma twee, prachtig.
‫En nu kunnen we dat daar doen, omdat een rotscurve een vergelijking is van de werkelijke positieve waarde van een model versus de
‫vals-positieve van een model, toch.
‫We willen alleen de positieve lessen behouden.
‫Dus laten we eens kijken wat we onderzoeken.
‫Lijkt op mijn problemen.
‫Waarom is dit niet gelukt?
‫Wat hebben we hier?
‫Dit regenwoud geclassificeerd is nog niet gemonteerd.
‫Bel fit.
‫O, dat zou logisch zijn.
‫Dus we willen.
‫Met de classifier kun je natuurlijk geen voorspellingen doen zonder ze te passen, zonder dat het
‫model patronen leert.
‫Dus we gaan het hier passen, dan zullen we wat voorspellingen doen en we zullen dit bekijken, misschien
‫alleen de eerste 10.
‫Dus we nemen onze mensen geen ruimte in.
‫OK mooi.
‫En dus omdat onze rooskleurige curve.
‫Alleen is een vergelijking van de werkelijke positieve snelheid van een model versus een fout-positieve snelheid, we willen alleen kansen die het
‫model heeft voorspeld voor de positieve klasse.
‫Dus als je je hier voorstelt dat onze modellen nul of één proberen te voorspellen.
‫Dit is een kans dat het label nul is.
‫En dit is de kans dat het label één is enzovoort voor al deze monsters totdat het klaar
‫is.
‫Er zullen er dus veel zijn in de testset hier.
‫Eenenzestig worden er eenenzestig.
‫Dus in wezen wat we willen is waarom probs positief?
‫Dus dit is de waarschijnlijkheid dat het de positieve klasse is, act nul is de negatieve
‫klasse en één is de positieve klasse, waarom problemen hier wat slicing zullen gebruiken, maar alleen kolom één van elke rij,
‫zodat we dat kunnen doen.
‫Zodat je kunt weten wat er aan de hand is, positief.
‫En we kijken alleen naar de eerste Hanigan.
‫Dus dit is logisch, we krijgen nul punt vier drie ja, nul punt zeven zeven ja, nul punt vier
‫acht enzovoort, enzovoort, enzovoort voor de hele lijst van waarom problemen.
‫En nu kunnen we FBAR en Threshold's berekenen.
‫Dus voor de Eagles, Teper Threshold's, waarom weet ik dat dit dit in een oogwenk zal zien?
‫Waarom weet ik dat dit de ROC-curve van de fpr-commentaar karmadrempel zal zijn?
‫We gaan het doorgeven.
‫Waarom testen en waarom Rob positief is.
‫Hoe kom je erachter welke rockliefde in dit geval terugkeert?
‫Nou, wat ik zou doen is een onderdrukkende tab en dit is hoe ik het weet.
‫Dus we hebben een Roc-curve.
‫Het kost j.
‫Waar.
‫Dus dat zijn onze testlabels.
‫Er is een Y-score voor nodig.
‫Dus dat is onze y probs positief.
‫En als we hier komen, bereken dan de bedieningskarakteristiek van de ontvanger.
‫Ja.
‫Mooie nu parameters.
‫Waarom waar, waarom score Doelscores kunnen waarschijnlijkheidsschattingen zijn van de positieve klassenbetrouwbaarheidswaarden of
‫niet-drempelwaarden van de beslissing.
‫Dat zijn dus de kansschattingen van de positieve klasse.
‫Daar hebben we dit stuk vandaan.
‫Rechts.
‫En als we dan hier komen, zal het ons vertellen wat ons rendement is, toenemende
‫fout-positieve percentages, zodat element AI een fout-positief percentage voorspellingen is met een score boven de drempels TPA.
‫Dus dat is een echt positief tarief en drempels.
‫Dus zo kunnen we uitzoeken wat een functie retourneert.
‫En nogmaals, dat is gewoon kijken naar de string in een Egyptisch notitieboekje.
‫U kunt hiervoor altijd de documentatie raadplegen.
‫Als je dat zou willen, zou je iets kunnen opzoeken als hoe je de Roc-curve kunt berekenen, zodat ik het kan leren.
‫Dus dan gaan we de fout-positieve percentages controleren.
‫FP mooi.
‫Dus dat geeft ons een grote array.
‫Maar deze alleen bekijken heeft niet echt veel zin.
‫Het is veel gemakkelijker om het visueel te zien.
‫En aangezien ik getline niet echt een ingebouwde functie heeft om een rotscurve te plotten, moeten we misschien iets
‫doen en je komt dit vaak tegen, je moet een functie vinden of je eigen functie
‫schrijven.
‫Dat zal het voor je doen.
‫Dus dat is waar we naar gaan kijken in de volgende video die een rotscurve uitzet.
‫En deze functie hier, ROC Curve zal een beetje logischer worden in plaats van alleen maar een reeks getallen
‫te zijn.