‫Quindi la metrica di valutazione del modello di classificazione finale che esamineremo è un rapporto di classificazione
‫e ora in realtà un rapporto di classificazione è anche una raccolta di diverse metriche di valutazione piuttosto che
‫una singola.
‫Ecco da dove viene il rapporto.
‫È una specie di resoconto di una serie di parametri diversi che valutano il nostro modello di classificazione.
‫Vediamone uno in azione, quindi da České una specie di Matrix Import Classification Report.
‫Per farlo, poniamo solo alcune vere etichette, OK, perché test e alcune previsioni?
‫Quindi, ancora una volta, questa metrica di valutazione sta semplicemente confrontando le vere etichette sui nostri dati rispetto alle previsioni fatte
‫dal nostro modello.
‫Quindi vediamo cosa succede qui.
‫Va bene.
‫Le poche cose che stanno succedendo, abbiamo un richiamo preciso, abbiamo un sostegno scolastico, zero, forse è per
‫la classe zero quattro, non per le malattie cardiache.
‫Forse è per malattie cardiache.
‫Se scendiamo con un punto di precisione settantacinque macro media.
‫Media ponderata.
‫Hmm.
‫Cosa sta succedendo qui?
‫Bene, andiamo al nostro Keano, diamo un'occhiata all'anatomia del nostro rapporto di classificazione.
‫Quindi qui vediamo che hai la stessa cosa, importa solo il rapporto di classificazione.
‫Ne abbiamo fatto uno sulle etichette dei test e sulle previsioni.
‫Alcuni numeri leggermente diversi qui.
‫Cosa c'è nel nostro taccuino?
‫Ma va bene.
‫Quindi cos'è la precisione o la precisione indica la proporzione di identificazioni positive, quindi a. K. un. il modello prevedeva
‫la Classe Uno, che in realtà era corretta.
‫Ora un modello che non produce falsi positivi come precisione di uno.
‫Questo è ciò che possiamo vedere, i nostri punteggi di precisione se il modello non ha prodotto falsi positivi.
‫E sappiamo che il nostro modello non l'ha fatto perché abbiamo esaminato la classificazione della matrice di
‫confusione e l'abbiamo vista confusa su alcuni esempi, e li abbiamo previsti come falsi positivi.
‫Quindi i nostri punteggi di precisione sono leggermente inferiori a uno.
‫Ora, il prossimo è il richiamo.
‫Quindi il richiamo indica la proporzione di positivi effettivi che sono stati classificati correttamente.
‫Ora, un modello che non produce falsi negativi ha un richiamo di un punto zero.
‫E ancora, sappiamo dalla nostra matrice di confusione che non è così.
‫Quindi il nostro richiamo è un po' più basso.
‫Ora, il punteggio F1 è una combinazione di precisione e richiamo, un modello perfetto ottiene un punteggio F1 di un punto
‫zero.
‫Ok, quindi quando vediamo che il nostro punteggio in F1 non è uno virgola zero, ma è comunque relativamente alto, se andiamo
‫a supportare.
‫Il numero di campioni su cui è stata calcolata ogni metrica, quindi vediamo qui.
‫Quindi questo significa che guardiamo a questo 29, quindi guardiamo a quello, che è quattro zero qui a 61.
‫Ciò significa che queste metriche qui sono state calcolate su 61 campioni diversi.
‫E queste metriche qui sono state calcolate su 29 campioni, che avevano l'etichetta di classe zero, e che questo
‫è 32 con l'etichetta di classe uno AK ha malattie cardiache.
‫Quindi, se hai sommato questi ventinove più 32, ottieni 61, sai, precisione.
‫L'abbiamo già visto.
‫Questa è solo la precisione del modello in forma decimale, la precisione perfetta è 1. 0, a. K. un. il nostro
‫modello fa previsioni giuste il 100% delle volte.
‫Se la precisione è 1. 0, quindi diamo un'occhiata alla media macro.
‫Ora, qual è l'abbreviazione di macro media, come avrai intuito.
‫Quindi è il richiamo di precisione medio e i punteggi F1 tra le classi.
‫Ora, la chiave qui è che la media macro non tiene conto della classe e l'equilibrio in questo dovrebbe essere preso in considerazione.
‫Quindi fai finta che questo sia un account.
‫Quindi, se hai squilibri di classe, presta attenzione a questa metrica.
‫OK, quindi nel nostro caso, cosa significa squilibrio di classe?
‫Bene, se guardi il nostro esempio, qui non abbiamo squilibri di classe.
‫Perché?
‫Bene, perché abbiamo relativamente la stessa quantità di campioni con Class Zero e Class One, il che significa che qui abbiamo una
‫divisione di circa 50/50.
‫Non è esattamente 50/50, ma non è che abbiamo 60 esempi di classe uno e un esempio di classe
‫zero.
‫Quindi ne abbiamo circa 30 in ciascuno.
‫Quindi, se hai avuto squilibri di classe, vuoi davvero controllare la tua media macro ora?
‫Poiché il nostro esempio, le classi sono relativamente equilibrate.
‫Ecco perché la media macro e la media ponderata del deficit medio ponderato della media ponderata è un richiamo di
‫precisione e il punteggio F1 tra le classi ponderate significa che ogni metrica viene calcolata rispetto al numero
‫di campioni presenti in ciascuna classe.
‫Quindi questa metrica favorirà la maggioranza.
‫La classe, ad esempio, darà un valore elevato quando una classe supera un'altra a causa di più campioni.
‫Ecco perché i nostri valori qui sono abbastanza simili, perché abbiamo classi di equilibrio.
‫Ora, potresti pensare che tipo di situazione sarebbe che questi valori sarebbero fuori
‫controllo?
‫Destra.
‫Ad esempio, dove accadrebbe questo?
‫E potresti anche pensare che abbiamo imparato un sacco di metriche diverse qui.
‫Torniamo al nostro taccuino.
‫Abbiamo esaminato i rapporti di classificazione, abbiamo fatto confusione, matrice, abbiamo fatto precisione.
‫Abbiamo eseguito l'area sotto la curva ROC.
‫Quindi quando dovrei usare ciascuno di questi?
‫Quindi ora li abbiamo esaminati.
‫Potrebbe essere allettante pensare, beh, perché non elimino tutti questi altri che ho
‫davvero difficoltà a comprendere e uso solo la precisione?
‫Bene, facciamo un esempio.
‫Vediamo quando entrano in gioco altre metriche.
‫E forse non dovresti usare la precisione solo perché questa è una trappola in cui sono caduto.
‫Quando ho iniziato a creare modelli di classificazione, ero tipo, sì, il mio modello sta ottenendo un'accuratezza del
‫90% in più.
‫Deve essere un ottimo modello.
‫Vediamo uno scenario.
‫Quindi, per esempio, diciamo che c'erano 10.000 persone e una di loro aveva una malattia e ti viene chiesto di
‫costruire un modello per prevedere chi l'ha.
‫Va bene.
‫Quindi facciamolo davvero.
‫Continuiamo così.
‫Quindi è qui che la precisione e il richiamo diventano preziosi.
‫E infatti, tutte le metriche nel nostro rapporto di classificazione diventano preziose qui.
‫Quindi malattia, vero.
‫Quindi c'erano 10.000 persone e una di loro aveva una malattia.
‫Quindi quello che potremmo fare è creare un impero di 10.000 persone e poi potremmo cambiarne uno.
‫So sillabare malattia.
‫È un indice zero di malattia uguale a uno, quindi c'è solo un caso positivo.
‫Quindi se veniamo qui e diciamo che il nostro modello previsto o la diffusione della malattia è uguale e
‫zero ora, questo significa che il modello prevede ogni caso come zero.
‫Va bene.
‫E poi quello che faremo è creare il frame di dati in modo da poter visualizzare questo rapporto di classificazione, e se fosse quello che ha
‫fatto il nostro modello?
‫Destra.
‫Questo è quello che sta succedendo qui.
‫Malattia, vero.
‫Quindi c'è solo un caso positivo, uno su 10.000.
‫E costruiamo un modello e il nostro modello prevede che ogni singolo caso è zero.
‫Quindi manca l'unica previsione.
‫Cosa accadrebbe se costruissimo una classificazione?
‫Rapporti di una malattia gay.
‫Vero.
‫Siamo arrivati qui.
‫La malattia si diffonde.
‫Voglio passare questo piccolo parametro in modo che si adatti bene a un frame di dati, quindi l'output dict è uguale.
‫Così.
‫Cosa sta succedendo qui?
‫Guardiamo questo, questo è solo un altro formato di questo rapporto di classificazione quassù se non l'abbiamo
‫fatto.
‫Andrebbe in onda, quindi questo è solo per visualizzare cosa sta succedendo, vero.
‫Quindi questo è un ottimo esempio, giusto, di dove vuoi usare un'altra metrica diversa dall'accuratezza è quando hai
‫uno squilibrio di classe molto grande.
‫Quindi, nel nostro caso, abbiamo un enorme squilibrio di classe perché nel nostro set di dati originale, la
‫malattia uguale al vero è solo un esempio.
‫Quindi solo un esempio di dove il lavoro sarebbe vinto e tutto il resto è zero.
‫Abbiamo costruito un modello che prevede solo zero per ogni caso.
‫Giusto, perché è solo un campione.
‫È davvero difficile capire che c'è uno schema per questo caso particolare.
‫E quindi quello che succede è che se dovessimo misurare solo l'accuratezza sul nostro modello che è previsto zero per tutto,
‫viene fuori con un'accuratezza di zero virgola nove nove o in altre parole, 99 per cento.
‫E quindi chiediti, anche se il modello raggiunge il novantanove virgola nove nove percento di precisione, il modello
‫è ancora utile?
‫Destra.
‫Ecco perché esaminiamo queste altre metriche, come la media macro, ecco dove possiamo dire,
‫OK, i nostri modelli stanno crollando qui sulla posizione.
‫In realtà sta ottenendo una precisione zero per la classe uno, il che ha senso perché non ha nemmeno previsto
‫la classe uno.
‫E qui sta ottenendo praticamente il 100% sulla Classe zero perché ha previsto solo la classe zero.
‫Quindi questo è un tipo di scenario di caso d'uso in cui vuoi assicurarti di utilizzare un ampio
‫spettro di metriche di valutazione per i tuoi modelli di classificazione e non solo l'accuratezza.
‫E ora abbiamo appena toccato alcune delle metriche che puoi usare per valutare un algoritmo di classificazione,
‫ma ce ne sono alcune altre.
‫Quindi, se vuoi dare un'occhiata di più, allora andiamo qui, valutazione del modello, Saikat impara.
‫Vedremo la documentazione.
‫Se venite qui, questo è un po' di curriculare in più, date un'occhiata a questa sezione qui.
‫Quindi tutto quello che ho fatto è andato nella documentazione del prestito socket per la valutazione del modello.
‫Veniamo alla classificazione.
‫Possiamo vederne alcuni qui, quelli che abbiamo trattato.
‫E quindi quelli che abbiamo trattato sono probabilmente il minimo indispensabile che vuoi usare, giusto?
‫Quindi l'area di precisione sotto la curva della roccia o vedi confusione, matrice e rapporto di classificazione.
‫Quindi tienili nella tua borsa degli attrezzi.
‫E se hai bisogno di più, assicurati di fare riferimento alla documentazione.
‫Quindi questo concluderà le nostre metriche di valutazione specifiche per la classificazione.
‫Entriamo nella sezione successiva.
‫Daremo un'occhiata ad alcune metriche di valutazione del modello di regressione più specifiche.