‫Bentornato, finora abbiamo visto diversi modi per valutare un modello di classificazione e ricordare che
‫la valutazione di un modello di machine learning è spesso confrontare le previsioni con le etichette di verità.
‫Quindi ora passiamo a un modo più visivo di valutare i nostri modelli di classificazione, ed è qui che si trova
‫la matrice di confusione.
‫E se non ne hai mai sentito parlare prima, non preoccuparti, avremo un sacco di esperienza
‫pratica con le matrici di confusione quando finirai questo video.
‫Quindi il prossimo modo migliore per valutare un modello di classificazione è usare una matrice di confusione proprio qui sotto.
‫Una matrice di confusione è un modo rapido per confrontare le etichette, un modello prevede e l'etichetta effettiva.
‫Quindi le etichette di verità.
‫Doveva prevedere.
‫In sostanza, questo ti dà un'idea di dove il modello si sta confondendo.
‫Quindi questo è solo scrivere Let's get hands on smettere di scrivere del codice.
‫La cosa bella della solitudine psichica è che ha molte di queste metriche di valutazione, formati
‫e funzioni integrate.
‫Quindi andiamo da Kaylon Dot Matrix Impart Confusion Matrix.
‫E poi andremo.
‫Perché le parate faranno alcune previsioni con il nostro classificatore addestrato prevederanno il test X, e quindi
‫creeremo una matrice di confusione con Y Test e Y Preds.
‫Ma prima di farlo, passiamo alla matrice di confusione di Kaylon della documentazione.
‫Basta ricordare a noi stessi la funzione che stiamo eseguendo.
‫Quindi questo è qui.
‫Vediamo quali sono gli input.
‫Abbiamo perché.
‫True è il primo parametro e quindi diffuso come secondo parametro.
‫Se scorriamo verso il basso, abbiamo un esempio qui.
‫Questo è il nostro output, vogliamo che assomigli.
‫Quindi hanno capito perché vero?
‫Nel nostro caso, abbiamo perché vero è perché testare?
‫E hanno capito perché Fred, che è nei nostri casi, lo chiamiamo perché Fred è con la s?
‫Sì, abbiamo fatto.
‫Quindi copierò questo collegamento nella matrice di confusione qui.
‫E lo metteremo qui sopra.
‫Vedi qui per Skyline Confusion Matrix.
‫Va bene, ma basta parlare.
‫Vediamolo in azione.
‫Oh, ci siamo ora.
‫In questo momento, questo non significa molto per noi.
‫Se hai già avuto esperienza con le matrici di confusione, potresti sapere cosa sta succedendo qui.
‫Ma se non l'hai fatto, e sono sicuro che molti di voi non l'hanno fatto, questa è solo una serie di numeri diversi.
‫Quindi andiamo avanti.
‫E che ne dici di aggiungere alcune etichette a questo?
‫Quindi un modo per farlo è con il metodo PD Dot Cross Tab, che possiamo cercare Pandas
‫Cross tab, che essenzialmente confronterà due o più fattori.
‫Quindi vediamolo in azione se vuoi la documentazione, ovviamente puoi fare riferimento a questo,
‫ma preferisco metterci le mani sopra.
‫Quindi andiamo PD attraverso Tab Y Test Y Preds, e poi entreremo qui.
‫Gli daremo di nuovo un nome di riga di parametro.
‫Tutti questi sono menzionati qui.
‫Abbiamo l'indice, abbiamo le colonne, abbiamo i nomi delle righe, i nomi delle colonne.
‫Probabilmente puoi indovinare cosa fanno questi due parametri.
‫Entriamo in quello e vediamo cosa fanno l'etichetta reale.
‫Quindi questa è l'etichetta di verità e quindi abbiamo i nomi delle chiamate uguali all'etichetta prevista.
‫Quindi abbiamo le righe dei valori effettivi e le colonne sono i valori previsti dalla nostra
‫etichetta di previsione del modello.
‫Oh, ci siamo.
‫Ora, dal momento che stiamo proiettando zero uno, quindi malattie cardiache o nessuna malattia cardiaca, abbiamo
‫previsto le etichette qui zero uno e le etichette effettive qui.
‫E quindi il punto più ideale che vogliamo che siano i valori è sulla diagonale.
‫Perché?
‫Bene, ciò significherebbe che l'etichetta prevista del nostro Modello zero si allinea con l'etichetta effettiva dei valori
‫di verità zero e zero e lo stesso con uno.
‫Ora questi campioni qui nella diagonale opposta.
‫Quindi questo è in alto a sinistra in basso a destra.
‫Campioni in cui i nostri modelli si confondono, in sostanza, ne prevedono uno in cui l'etichetta
‫effettiva è zero e viceversa.
‫Qui sta prevedendo zero, dove l'etichetta effettiva è uno.
‫Ora diventeremo un po' più visivi perché di nuovo, questo è per me.
‫Possiamo andare più visivi.
‫Non sono sicuro che potresti essere in grado di capirlo, ma per me, mi piace guardare dei bei colori.
‫Quindi passiamo al keynote.
‫Ricordiamoci cos'è l'anatomia della matrice di confusione.
‫Non ricordare a noi stessi.
‫Magari ci presentiamo.
‫Ma eccoci qua.
‫Quindi abbiamo i valori corretti sulla diagonale.
‫In alto a destra, i valori sono considerati falsi negativi in una classe binaria.
‫Problema di vacanza.
‫Voglio solo che tu prenda nota anche qui, è che la nostra matrice di confusione in questo momento si occupa solo
‫di due classi zero o uno.
‫Tuttavia, questa matrice di confusione può essere grande quanto vuoi.
‫Ma come puoi immaginare, se andassimo da zero a 100 molto velocemente, potrebbe diventare troppo grande, quasi troppo
‫grande per iniziare a visualizzarlo.
‫Facciamo Google davvero in grande.
‫Vogliamo una matrice di confusione davvero grande.
‫Vediamo come si presenta.
‫Va bene, ci siamo.
‫Ci vediamo qui.
‫Ecco come può apparire una matrice di confusione davvero grande, e se in realtà puoi davvero andare più grande
‫di così?
‫Guarda quello.
‫Sono 90 classi.
‫Quindi, sì, questo mi confonde.
‫Ma questo è, oh, questo è quello che vuoi, idealmente.
‫Questa è la matrice di confusione dall'aspetto ideale che è evidenziata la diagonale da sinistra in alto a sinistra a in basso a destra.
‫Ora, che ne dici di diventare colorati senza una matrice di confusione?
‫Ho qui il keynote di quello che sta succedendo qui.
‫Corretto è in alto a sinistra in basso a destra.
‫Veri positivi.
‫Veri negativi.
‫In alto a destra ci sono falsi negativi.
‫In altre parole, cosa significa questo?
‫Il modello prevede zero in modo negativo.
‫Quando la verità è una e abbiamo in basso a sinistra sono i falsi positivi, e un falso positivo è il modello,
‫ne predice uno.
‫Quando la verità è zero.
‫Ti lascerò immergere ulteriormente in questo nel tuo tempo.
‫Torniamo a scrivere un po' di codice.
‫Ora c'è un bellissimo metodo all'interno di Ketlen, che in realtà è relativamente nuovo, quindi scriviamo qui un
‫piccolo titolo.
‫Creare una matrice di confusione usando CI Ketlen Ora questa è in realtà la seconda volta che registro questo video.
‫Come mai?
‫Perché se all'inizio ho registrato questo video, c'era un metodo diverso all'interno di Ketlen, ma poiché è
‫stato aggiornato, voglio mantenere il corso il più aggiornato possibile.
‫Abbiamo le nuove versioni.
‫Questo è dentro Ketlen 1. 0.
‫Quindi, per utilizzare i nuovi metodi.
‫Quindi questi sono nuovi al momento della registrazione, tra l'altro.
‫Quindi ho mantenuto la linea 1. 0 è appena uscito.
‫Volendo creare una matrice di confusione con la linea presa, avrai bisogno di una versione ridotta 1. 0 più.
‫Quindi voglio trasformarlo in markdown.
‫Ci siamo.
‫Quindi cerchiamo la linea del socket durante l'installazione di Kaylon.
‫Ti mostrerò come installare l'ultima versione di Socket Line.
‫Quindi questa è questa pagina web qui.
‫Lo copierò quando verremo quaggiù, e lo metterò lì adesso.
‫Meraviglioso.
‫Ora possiamo controllare quale versione di linea stiamo usando andando a importare.
‫Potresti già avere la versione 1. 0, se lo desideri, se hai installato socket line relativamente
‫di recente, e ancora, perché potresti vederlo in futuro di recente come un termine arbitrario.
‫Ma controlleremo solo l'esecuzione dell'ultima versione.
‫Tuttavia, se volessimo aggiornarlo, come potremmo farlo?
‫Bene, passiamo al terminale.
‫Ecco la cartella da cui sto eseguendo i miei taccuini.
‫Quindi, se vado diversamente, sto eseguendo questa sezione due di data science e strumenti di machine learning.
‫Ecco da dove viene questo quaderno.
‫Ho attivato l'ambiente.
‫Quello che farò è disattivare quell'ambiente.
‫Quindi in secondo luogo, disattivare clear.
‫Quindi ora questa è solo la cartella in cui risiedono tutti i miei taccuini.
‫Ecco il mio ambiente che abbiamo creato molto tempo fa.
‫Se hai bisogno di un aggiornamento sulla creazione dell'ambiente, puoi tornare indietro.
‫Ma ora ho intenzione di condurre attivare il mio ambiente.
‫Il punto qui sta per Attiva l'ambiente nella cartella corrente.
‫Quindi la cartella corrente qui.
‫Ora, se vogliamo, eliminerò tutto questo solo per spiegare un po' di più.
‫Vedo che vediamo con quello.
‫Ho una cartella dell'ambiente lì.
‫Quindi questo significa solo contattare il punto di attivazione e questa cartella qui, questa cartella dell'ambiente, se lo eseguiamo, allora
‫cancelliamo.
‫E ora se vogliamo aggiornare, quindi non posso imparare in questo ambiente in cui stiamo eseguendo i nostri
‫notebook dal tuo potrebbe essere leggermente diverso dal mio percorso qui, ma andiamo qui.
‫L'installazione PIP che usi sta per upgrade socket.
‫Impara, così torneremo al terminale.
‫Eseguiremo quel pip per installarti il socket Ketlen.
‫Ora, poiché sto eseguendo l'ultima versione, dice: Sì, ci siamo.
‫Requisito già aggiornato.
‫Quindi, in precedenza, quando l'ho fatto, stavo eseguendo la versione 0 della linea socket. 24 punti qualcosa.
‫Ma poi ho installato 1. 0 per creare questo nuovo materiale.
‫Quindi ce l'ho già.
‫Ora, se non stai correndo 1. 0, dovrai seguire questi passaggi se ne hai già 1. 0 e l'hai scoperto sul
‫tuo quaderno.
‫Bene, allora questo codice dovrebbe funzionare per te.
‫Se hai appena installato 1. 0, potrebbe essere necessario riavviare il kernel del notebook.
‫Non lo farò, ma fai semplicemente clic su Riavvia e quindi fai clic su Esegui tutto e vorrai eseguire nuovamente tutte
‫queste celle.
‫Reimporta il sito, Ketlen, l'ultima versione e assicurati di averne 1. 0 qui prima di eseguire il prossimo
‫set di codice.
‫Quindi ora guardiamo in alto.
‫Skyline Confusion Matrix Ed è qui che troveremo i nuovi metodi introdotti o le nuove classi e
‫metodi introdotti in 1. 0 visualizzazione matrice confusione dal preventivo.
‫Meraviglioso.
‫Quindi questo è ciò di cui sto parlando.
‫Questo è più colorato per me e vediamo che il verde o il giallo della piastrella.
‫Significa che più valori ci sono e più scura è la tessera.
‫Se lo desideri, puoi modificare questi colori predefiniti.
‫A proposito, se si passa semplicemente attraverso la documentazione sul dock del riquadro, significa che i valori inferiori ci
‫sono.
‫Quindi replichiamo questo per i nostri dati.
‫E ci sono due versioni di questo.
‫Abbiamo il display Skyline Metrics Confusion Matrix, due versioni.
‫Uno proviene dallo stimatore e l'altro dalle previsioni.
‫Daremo un'occhiata a entrambi.
‫Quindi, se vuoi andare avanti, puoi venire a questa documentazione, fare clic su ciascuno di questi metodi e
‫provarlo tu stesso.
‫Ma vediamolo in azione.
‫Passiamo da Skyline Dot Matrix Import Confusion, Matrix Display.
‫Va bene, questa è la classe generale.
‫E poi useremo quel punto di visualizzazione della matrice di confusione di classe dalla stima in su.
‫Ora potresti indovinare cosa succede qui quando hai bisogno di uno stimatore esperto o di una stima adeguata.
‫Nel nostro caso, la nostra stima attuale è scogliera.
‫Digitiamo qui il classificatore forestale auto casuale e quindi prende X, che nel nostro caso è X e quindi
‫Y, X e Y.
‫Quindi vediamo cosa viene fuori qui.
‫Ci siamo.
‫Otteniamo una trama bellissima.
‫Ora cosa c'è di diverso tra quello che abbiamo qui?
‫Y Test Y Pred contro X e Y?
‫Bene, prima di tutto, abbiamo molti più valori.
‫Bene, è perché stiamo passando gli interi dati X e gli interi dati Y.
‫Quindi, se osserviamo la stringa di documentazione qui, scheda Chef, di cosa abbiamo bisogno per stimare la nostra stima di
‫X Y?
‫Quindi abbiamo alcune opzioni diverse qui, come le etichette campione bianche normalizzate.
‫Ti farò leggere la documentazione per vedere cosa fanno.
‫Essenzialmente, sta personalizzando l'aspetto della trama quando esce.
‫Quindi la stima è una stima, ad esempio, un classificatore adattato o una propria pipeline di una classe di scala adattata in
‫cui l'ultima stima è un classificatore.
‫Qual è il nostro preventivo?
‫È un classificatore forestale casuale.
‫Quindi ora diamo un'occhiata all'altra versione del display Confusion Matrix, l'altro metodo ad esso
‫associato dalle previsioni.
‫Ora la differenza qui è che dalle previsioni prende y true e y spread proprio come la scheda Al Cross prima.
‫Quindi non c'è una stima.
‫Quindi questo significa che devi avere previsioni pronte per partire.
‫Mentre nell'altra versione da preventivo, puoi creare una matrice di confusione senza previsioni pronte a partire.
‫Quindi fa le previsioni per, sai, diciamo, confusione, punto di visualizzazione della matrice dalle previsioni e passeremo o vediamo la doc string
‫qui abbiamo perché vero e perché Fred così y vero è uguale a ciò che il
‫nostro test etichetta e perché Pred è uguale?
‫Abbiamo chiamato le nostre previsioni.
‫Perché Pred?
‫Vediamo come appare questa matrice di confusione.
‫Meraviglioso.
‫Molto meglio, più colorato.
‫Potresti non essere più il più grande fan di quei colori se desideri cambiarli.
‫Vedi, la documentazione è un sacco di modi diversi in cui puoi personalizzarli.
‫Questo è un aspetto più visivo di quello che abbiamo qui.
‫Sta visualizzando tutti e tre questi stanno visualizzando gli stessi dati.
‫Questo qui, questo qui e questo qui.
‫Ma hanno solo livelli crescenti di visualizzazione, che spesso è molto utile per capire cosa sta
‫succedendo.
‫Quindi questo è tutto per le matrici di confusione.
‫Sono modi molto, molto, molto visivi per vedere come stanno andando i tuoi classificatori addestrati.
‫Se ti piace l'anatomia, puoi trovare la diapositiva qui.
‫Altrimenti, ci vediamo nel prossimo video.
‫Continuiamo a valutare i nostri modelli.