‫Ora, abbiamo visto gli iperparametri del nostro modello di regressione logistica e sta ottenendo
‫un punteggio abbastanza buono qui, ma ricorda questo punteggio, il punteggio predefinito per un classificatore è l'accuratezza.
‫Quello che vogliamo fare ora è creare alcune metriche di valutazione attorno al nostro modello che vadano un po'
‫oltre l'accuratezza.
‫Più specificamente, creiamo il nostro modello di apprendimento automatico ottimizzato, in realtà classificatori di apprendimento automatico per uno
‫migliore.
‫Queste metriche di valutazione sono specifiche per la classificazione, quindi andremo oltre la precisione.
‫Quindi, ancora una volta, più specificamente, vogliamo una curva RSI e una U. S. punto.
‫Vogliamo anche una matrice di confusione, inserendo dei difetti che in realtà sembravano provenire da Matrix con molti
‫numeri.
‫Sai, quello schermo verde che scorre, vogliono un rapporto di classificazione.
‫Cos'altro vogliamo?
‫Vogliamo un richiamo preciso e un punteggio in F1, e sarebbe fantastico.
‫E sarebbe fantastico se, ove possibile, venisse utilizzata la convalida incrociata.
‫Quindi trasformiamolo in ribassi.
‫Questo è ciò su cui lavoreremo, utilizzerà la nostra ricerca griglia vecchio stile, il modello di
‫regressione logistica e il miglior tipo di parametri per esso.
‫E vedremo dove entrano in gioco in un secondo.
‫Quindi, prima di tutto, quando valutiamo un modello, confrontiamo sempre il modo in cui le previsioni di un modello
‫addestrato si confrontano con le etichette di verità.
‫Quindi quello che dobbiamo fare è prima fare alcune previsioni in modo da poterle confrontare con le etichette di verità, a. K. un.
‫le etichette nel set di dati del test del perché.
‫Quindi facciamolo.
‫Va bene, una nota qui per fare confronti e valutare il nostro modello addestrato.
‫Per prima cosa dobbiamo fare delle previsioni.
‫Quindi quello che faremo è fare previsioni con il modello sintonizzato e c'è una bellissima funzione chiamata previsione che possiamo usare per questo, quindi
‫la salveremo per perché le sfilate?
‫Usiamo G. S. Log Regg, che è solo la nostra versione ferroviaria del nostro modello di ricerca a griglia, Segers Log.
‫Regg, non prevedere.
‫E stiamo andando a prevedere il perché sui dati del test.
‫Meraviglioso.
‫E vediamoli solo per essere sicuri di non impazzire belli.
‫E ora dobbiamo confrontarli con il set di dati del test.
‫Quindi diamo un'occhiata a questo qui.
‫OK, quindi se volessimo andare da zero a zero, possiamo sapere che ha sbagliato questo.
‫Dovrebbe essere uno zero lì?
‫Perché queste sono le etichette di verità e quindi potremmo continuare a farlo, ma non lo
‫faremo.
‫Vogliamo usare del codice per farlo.
‫La prima cosa prima di tutto, vogliamo scuotere la curva perché ricorda che abbiamo questa piccola lista, la curva
‫ascendente e la scuola AUC.
‫Hmm.
‫Cos'è una curva di roccia?
‫Bene, se guardassimo in alto e cos'è una curva rock.
‫Abbiamo attraversato questo processo di comprensione A. S. Rockhead, quindi se dovessimo leggere questo.
‫Quello che otterremmo è che la roccia viene creata tracciando il tasso di veri positivi contro il tasso di falsi
‫positivi a varie impostazioni di soglia.
‫Ok bello.
‫Quindi vediamo come lo facciamo, la curva della roccia è un modo per capire come si comporta il tuo
‫modello confrontando il tasso di veri positivi con il falso positivo.
‫Destra.
‫E se vogliamo capire cos'è un vero positivo e un falso positivo, possiamo dare un'occhiata alla nostra matrice
‫di confusione per questo.
‫Quindi un modello vero positivo prevede uno quando la verità è uno e un falso positivo è solo il modello prevede uno quando
‫la verità dovrebbe essere zero.
‫E un modello perfetto avrà un occhio, vedi la scuola, quello che vediamo in un secondo di 1. 0.
‫Quindi vediamo come lo facciamo.
‫Quindi importa la funzione della curva RISC da Escalon, matrice di punti.
‫Ecco da dove viene.
‫È lì che vive.
‫Ma in realtà l'abbiamo già fatto, come con tutte le altre funzioni di Skyland che abbiamo usato
‫fin dall'inizio.
‫Torna qui.
‫Quindi queste sono le valutazioni del modello in questo momento in questa prossima sezione.
‫Nel prossimo video, affronteremo tutto da qui.
‫Quindi questi sono che possiamo vedere qui abbiamo un randomizzatore di una ricerca sulla griglia, una curva di trama della matrice di confusione che
‫stiamo per usare i record scolastici di precisione, scuola, EF1, scuola.
‫Quindi questi sono per il nostro modello di classificazione.
‫Quindi andiamo giù.
‫Possiamo salvarci una riga di codice, in realtà non dobbiamo importarla.
‫Torneremo qui, possiamo semplicemente tracciare la curva di Roc.
‫Ora, questa è un'aggiunta relativamente nuova a questa libreria di seconda riga, di cui sono molto,
‫molto contento, perché di solito dovevi scriverli sulla tua disfunzione, questa curva di trama e calcolarla in realtà
‫calcola U. S. metrica per noi.
‫Quindi l'area sotto la metrica della curva, vediamola in azione e poi tracciamo la curva.
‫G. S. Law, Greg, e se cerchiamo questo nella documentazione
‫e ci diremo cosa fa parsad, una stima di cui è il nostro modello di apprendimento automatico con caratteristiche operative del ricevitore del grafico X percento Y,
‫a. K. un. Curva Roc.
‫Questo è quello che farà per noi.
‫Cose belle come il test Wragg X e volevamo farlo sul set di dati di test.
‫Valuta sempre.
‫Questo dovrebbe essere calcolato, valuta sempre i tuoi modelli di apprendimento automatico nel set di dati di test e
‫vediamo.
‫Oh bello.
‫OK, quindi ricorda una curva perfetta che abbiamo visto nei video precedenti.
‫Siamo arrivati a questa curva e poi abbiamo attraversato così, ma Elstein è abbastanza bene e abbiamo un'area sotto la
‫curva.
‫Quindi se calcolassimo tutta questa area qui sotto di zero virgola nove tre, ovviamente un modello perfetto
‫otterrà 1. 0 come nostro modello.
‫Non è perfetto, ma è un atto di zero virgola nove tre quando la media è appena.
‫Lanciare una moneta sarebbe essenzialmente zero virgola cinque, quindi ci stiamo avvicinando a un modello perfetto, non male
‫per un modello appena uscito dalla scatola.
‫Va bene.
‫La prossima cosa che vogliamo fare.
‫È una matrice di confusione, quindi diciamo quella matrice di confusione, come potremmo farlo?
‫Quindi penso che la linea abbia una funzione e non credo di conoscere socket.
‫Ha una funzione.
‫Possiamo fare confusione, matrice, e vogliamo confrontare i livelli delle truppe di terra con i livelli previsti.
‫OK, potrei semplicemente lasciarlo così.
‫È un po' blando.
‫Possiamo migliorare la visualizzazione di questa matrice di confusione usando.
‫Seabourne, è quello che vuoi.
‫Quindi vogliamo andare.
‫Credo che abbiamo già Seabourne qui.
‫Sì, facendo S. UN. S. , sì, lo facciamo.
‫Quindi ti abbiamo già visto in questo progetto così possiamo andare.
‫Quello che potrei fare è sapere in anticipo che abbiamo bisogno di una dimensione del carattere più grande.
‫La dimensione del carattere è uguale a uno virgola cinque.
‫Semplicemente non è impostato.
‫E creeremo una piccola funzione qui nel caso in cui volessimo creare un'altra matrice di
‫confusione perché la funzione di matrice di confusione di cyclone non è all'altezza poiché realizzare questo video potrebbe sempre forse
‫essere un'opportunità per una richiesta pull.
‫Quindi andiamo qui.
‫Bello e semplice, quindi posteremo questa funzione al test.
‫Etichette e le nostre etichette previste, e poi creeremo dei grafici di bell'aspetto,
‫una matrice di confusione dall'aspetto gradevole usando le coste, l'abbiamo visto prima di heightmap.
‫Meraviglioso.
‫Quindi abbiamo una grande X uguale a T sottotrame di punti, una grande dimensione uguale a tre tre o fine turno per attivare di nuovo felice
‫X uguale a mappa termica sinistra.
‫Meraviglioso.
‫Posizioniamo la matrice di confusione del sito della funzione della linea psichica.
‫Perché testare.
‫Perché Fred.
‫E poi vogliamo aggiungere qui e non così annotare, sì, per favore, annotare uguale a vero.
‫E andremo al bar perché non vogliamo Colaba, perché ho visto i talebani, non
‫sembra molto bello su una confusione matrixx penalità non ex label.
‫Affidabile.
‫E poi esporremo perché responsabile, andremo a diffamazione prevista e vediamo.
‫Quindi abbiamo molta confusione in matematica.
‫Matrixx, perché testare?
‫Perché le sfilate?
‫Oh, cosa abbiamo fatto, dimensione del carattere?
‫Quel sacco di Fonzi è sbagliato.
‫Cos'è questa scala O?
‫Ehi, abbiamo un conto.
‫Quello per cui posso suonarlo è classico e ci sta dando questa piccola
‫cosa tagliata qui così possiamo aggiustarlo, credo, andando in cima perché x non capisco perché limn.
‫Sì.
‫E poi vogliamo andare a X punto Wiliam.
‫Rendilo un po' carino, Whilom, e sarà l'ultimo virgola cinque in alto meno zero virgola cinque.
‫Ora, ovviamente, se sei confuso, Matrix è uscito bene, potresti non aver bisogno di queste
‫righe, ma non importa.
‫Ci siamo.
‫Potremmo guardare un po' meglio.
‫Quindi puoi vedere che il modello si confonde.
‫Quindi predice l'etichetta sbagliata relativamente la stessa in entrambe le classi.
‫Quindi, in sostanza, ci sono quattro occasioni in cui il modello ha previsto lo zero.
‫L'etichetta prevista prevedeva che qualcuno non avesse malattie cardiache quando avrebbero dovuto essere previste come
‫una.
‫Quindi questo è un falso negativo.
‫Quindi prevede zero invece di uno, un falso negativo.
‫Ricorda, mentre torniamo qui, il modello falso negativo prevede lo zero quando la verità è vinta.
‫E qui ci sono i falsi positivi.
‫Quindi, ok, abbiamo tre casi qui in cui un modello prevede, uno, qualcuno ha malattie cardiache quando in
‫realtà non lo fanno.
‫E puoi vedere che queste sono entrambe cose che vogliamo evitare.
‫Destra.
‫Soprattutto quando si pensa a qualcosa di così grave o grave come una malattia cardiaca, prevedendo anche quando
‫non è presente.
‫Quindi qui, se prevediamo zero, quindi nessuna malattia quando è presente.
‫Ok, non va bene.
‫Ma anche prevedere che è lì quando non è effettivamente lì, è anche un male.
‫Quindi è qualcosa che devi considerare quando costruisci questo tipo di modelli.
‫Un falso negativo è peggio o un falso positivo è peggio?
‫E ancora, un modello perfetto non avrebbe nessuno di questi.
‫Ma in realtà, probabilmente finirai per avere una sorta di confusione qui con il tuo modello.
‫Non lo farai idealmente, questi sarebbero perfetti qui, oltre la linea.
‫Ora, abbiamo fatto una matrice di confusione.
‫Ce l'abbiamo lì.
‫Potremmo condividerlo con il nostro capo.
‫Potremmo condividerlo con il nostro capo rocker lì.
‫Qual è il prossimo?
‫Rapporto di classificazione?
‫OK, e sarebbe fantastico se la convalida incrociata fosse utilizzata ove possibile.
‫Bene, questo è ciò che potremmo affrontare nel prossimo video.