‫Ora, abbiamo appena trattato l'accuratezza come metodo per valutare i nostri modelli di classificazione e potresti pensare,
‫perché non possiamo semplicemente lasciarlo lì?
‫Bene, mentre iniziamo a esaminare queste altre metriche qui, inizierai a capire perché potrebbe essere importante
‫ottenere alcune metriche di valutazione più diverse sulla lavagna piuttosto che solo l'accuratezza.
‫Nel mio caso, quando stavo imparando per la prima volta come costruire modelli di classificazione, pensavo sempre, sì, solo
‫una maggiore precisione è meglio.
‫Destra?
‫E poi lentamente, dopo aver guardato diversi esempi, comincio a capire, OK, ora vedo il
‫valore di usare altre metriche come queste, ma non ne parliamo.
‫Vediamolo in azione.
‫La prossima che tratteremo è l'area sotto il ricevitore che opera quindi l'area sotto la curva
‫caratteristica di funzionamento del ricevitore.
‫La cosa bella è che è anche conosciuto come U. S. Quindi area sotto curva o ossy.
‫Quindi caratteristica di funzionamento del ricevitore.
‫Quindi facciamo questa curva RRC.
‫Quindi queste sono le due cose a cui dovrai prestare attenzione.
‫Area sotto curva o curva rocciosa.
‫Lo metterei qui.
‫Vedi o.
‫Rakove, bellissimo, quindi se senti qualcuno parlare di AUC o ARACY o Rock o qualcosa del genere, probabilmente sta
‫parlando di questa metrica qui.
‫Ora, cosa misura una curva di roccia?
‫Bene, per definizione formale, una curva di roccia è un confronto tra il tasso di veri positivi di un modello rispetto al falso positivo
‫di un modello.
‫Destra.
‫Scriviamolo.
‫Ecco un confronto tra il tasso di veri positivi di un modello, noto anche come TPA, rispetto al falso positivo di un
‫modello.
‫Destra.
‫Che è anche conosciuto come FPO.
‫Ora, ti starai chiedendo, OK, cosa è vero, positivo e cos'è un falso positivo?
‫Bene, diamo un'occhiata qui.
‫Un vero modello di aquile positive ne prevede uno quando la verità è quella che ha senso.
‫Quindi nel nostro caso, se diamo un'occhiata qui, se gli obiettivi reali sono uno o zero, un vero positivo è quando il
‫nostro modello prevede uno.
‫La vera etichetta è una.
‫Ok, sì, ha senso.
‫Quindi, se andiamo qui, un modello falso positivo prevede uno quando la verità è zero.
‫Allora perché si chiama falso positivo.
‫Beh, è perché ne prevede uno.
‫Quindi la classe positiva ha malattie cardiache quando la verità è in realtà zero.
‫Quindi ci dà un falso senso positivo che una persona possa avere una malattia cardiaca nel nostro caso particolare
‫per un problema di classificazione delle malattie cardiache.
‫E poi se andiamo qui, un vero negativo.
‫Il modello di Google prevede zero quando la verità è zero.
‫Quindi ha senso.
‫Quindi questo significa prevedere che il modello sta ottenendo la previsione giusta.
‫C'è la previsione che qualcuno non abbia malattie cardiache quando in realtà non lo fanno.
‫È fantastico.
‫E poi un modello di uguale falso negativo prevede.
‫Cosa pensi che sarà questo?
‫Falso negativo.
‫Osserviamo i falsi positivi.
‫Un falso negativo è quando il modello prevede zero quando la verità è vinta.
‫Quindi è perché non prevede malattie cardiache quando in realtà sono malattie cardiache, giusto?
‫Quindi ora che sappiamo questi possiamo vedere che una curva di roccia è un confronto del vero positivo di un modello.
‫Destra.
‫TPA contro errori di battitura ovunque.
‫E andrai avanti, questo è un falso positivo di una modella, giusto.
‫Oppure fpr.
‫Quindi ora lo sappiamo.
‫Vediamolo in azione in modo che possiamo farlo usando la Saikat Loans Metrics Library, importiamo la curva che
‫dice vedi Rakove la nostra curva e poi faremo previsioni con probabilità.
‫E come possiamo fare previsioni con probabilità.
‫Lo abbiamo visto nel fare previsioni.
‫Possiamo farlo con il motivo per cui probs è uguale a una scogliera prevedere il piede di porco per la probabilità.
‫Faremo alcune previsioni sui dati del test.
‫Ora, voglio solo assicurarmi che forse lo facciamo quando creiamo.
‫Crea X test solo per assicurarti che sia il test X giusto, test X dati.
‫Eccetera. , Quindi vogliamo andare qui X treno, X test.
‫Perché allenarsi, perché i veicoli di prova si allenano per dividere la dimensione x Y uguale a zero virgola due, meraviglioso.
‫E quindi ora possiamo farlo lì, perché una curva di roccia è un confronto tra il tasso di veri positivi di un modello rispetto al
‫falso positivo di un modello, giusto.
‫Vogliamo mantenere solo le classi positive.
‫Quindi, in realtà, vediamo cosa proviamo.
‫Sembra che i miei problemi.
‫Perché non ha funzionato?
‫Cosa abbiamo qui?
‫Questa classificata per la foresta pluviale non è ancora montata.
‫Chiama in forma.
‫Oh, avrebbe senso.
‫Quindi vogliamo.
‫Il classificatore, ovviamente, non puoi fare previsioni senza adattarle, senza che il modello apprenda
‫alcun modello.
‫Quindi lo adatteremo qui, poi faremo alcune previsioni e daremo un'occhiata a questo, forse solo
‫ai primi 10.
‫Quindi non stiamo prendendo spazio alla nostra gente.
‫Ok bello.
‫E così perché la nostra curva rosea.
‫Solo è un confronto tra il tasso di veri positivi di un modello rispetto a un tasso di falsi positivi, vogliamo solo le probabilità che
‫il modello ha previsto per la classe positiva.
‫Quindi, se immagini qui i nostri modelli che cercano di prevedere zero o uno.
‫Questa è una probabilità che l'etichetta sia zero.
‫E questa è la probabilità che l'etichetta sia una e così via per tutti questi campioni finché non
‫finisce.
‫Quindi ce ne saranno comunque molti nel set di test qui.
‫Sessantuno saranno sessantuno di loro.
‫Quindi essenzialmente quello che vogliamo è perché i prob sono positivi?
‫Quindi questa è la probabilità che sia la classe positiva, l'atto zero è la classe negativa
‫e uno è la classe positiva, perché i problemi useranno alcune sezioni qui, ma solo la colonna uno di ogni riga
‫in modo che possiamo farlo.
‫Solo così puoi sapere cosa sta succedendo, positivo.
‫E guarderemo solo al primo Hanigan.
‫Quindi questo ha senso, stiamo ottenendo zero virgola quattro tre sì, zero virgola sette sette sì, zero virgola quattro otto così
‫via, così via e così via per l'intero elenco di problemi perché.
‫E ora possiamo calcolare FBAR e Threshold.
‫Quindi per gli Eagles, Teper Threshold, perché so che questo lo vedrà in un secondo?
‫Perché so che questa sarà la curva ROC della soglia del karma del commento?
‫Lo passeremo.
‫Perché fare il test e perché Rob è positivo.
‫Ora, come capiresti cosa restituisce l'amore per il rock in questo caso?
‫Bene, quello che farei è una scheda opprimente ed è così che lo so.
‫Quindi abbiamo la curva di Roc.
‫Ci vuole y.
‫Vero.
‫Quindi queste sono le nostre etichette di prova.
‫Ci vuole un punteggio Y.
‫Quindi questo è il nostro y probs positivo.
‫E se veniamo quaggiù, calcoliamo la roccia caratteristica operante dal ricevitore.
‫Sì.
‫Bellissimi adesso i parametri.
‫Perché vero, perché i punteggi obiettivo del punteggio possono essere stime di probabilità dei valori di confidenza della classe positivi
‫o misure non soglia della decisione.
‫Quindi queste sono le stime di probabilità della classe positiva.
‫Ecco da dove abbiamo preso questa fetta.
‫Destra.
‫E poi, se veniamo qui, ci dirà quali sono i nostri rendimenti, aumentando i tassi di falsi positivi,
‫in modo tale che l'elemento AI sia un tasso di falsi positivi di previsioni con punteggio superiore alle soglie TPA.
‫Quindi questo è un vero tasso positivo e soglie.
‫Ecco come possiamo capire cosa restituisce una funzione.
‫E ancora, questo è solo vedere la stringa in un taccuino egiziano.
‫Puoi sempre guardare la documentazione per questo.
‫Se volessi farlo, potresti cercare qualcosa come calcolare la curva di Roc in modo che io possa imparare.
‫Quindi controlleremo i tassi di falsi positivi.
‫FPA bella.
‫Quindi questo ci sta dando una grande schiera.
‫Ma guardarli da soli non ha molto senso.
‫È molto più facile vederlo visivamente.
‫E poiché getline non ha davvero una funzione incorporata per tracciare una curva rock, quello che potremmo dover fare è
‫e molto spesso ti imbatti in questo diritto, è che dovrai trovare una funzione o scriverne una
‫tua.
‫Lo farà per te.
‫Quindi questo è ciò a cui daremo un'occhiata nel prossimo video, che traccia una curva rocciosa.
‫E questa funzione qui, ROC Curve, inizierà ad avere un po' più senso piuttosto che essere solo una serie
‫di numeri.