‫Meraviglioso.
‫Abbiamo visto come annusare rapidamente come vanno i nostri modelli di apprendimento automatico e valutarlo
‫utilizzando il metodo del punteggio, e questo restituirà una metrica di valutazione predefinita a
‫seconda del problema su cui stiamo lavorando in regressione, i suoi rendimenti, il coefficiente di determinazione e nella classificazione,
‫restituisce l'accuratezza principale.
‫Tuttavia, quando affronti ulteriormente un problema, è probabile che vorrai iniziare a utilizzare alcune metriche più potenti per
‫valutare le prestazioni del tuo modello.
‫E quindi, naturalmente, il passaggio successivo all'utilizzo del punteggio consiste nell'utilizzare un parametro di punteggio personalizzato.
‫Quindi, se vediamo qui, abbiamo esaminato questa stima, un metodo di punteggio, e ora daremo
‫un'occhiata all'utilizzo di un parametro di punteggio, strumenti di valutazione del modello, utilizzando la convalida incrociata o potremmo dover vedere cosa
‫questo è.
‫Quindi tuffiamoci dentro.
‫Quello che faremo è risolverlo.
‫Ora, dovrai sopportare con me per i prossimi video perché qui tratteremo un bel po'.
‫La ragione è perché la valutazione di un modello di apprendimento automatico è un passo così importante.
‫Una cosa è chiamare una funzione di adattamento su alcuni dati, ma la prossima cosa più importante è,
‫ehi, quel modello funziona davvero?
‫Sta imparando qualcosa?
‫Potremmo usarlo per prevedere in futuro?
‫Ed è per questo che ci assicuriamo di coprire molto terreno qui.
‫Quindi iniziamo.
‫Quello che faremo è passare da Escalon, non selezionare il modello, importare il punteggio Crosswell.
‫E come sempre, eseguiremo il codice prima di immergerci in ciò che sta effettivamente accadendo.
‫E ciò di cui abbiamo bisogno è un codice di classificazione.
‫Quindi quello che faremo, possiamo copiarlo.
‫Ti è permesso copiare questo, a proposito, perché l'abbiamo scritto un paio di volte adesso.
‫Quindi l'unica cosa diversa da ciò che abbiamo fatto qui è che abbiamo importato il punteggio Crossville dalla selezione del modello
‫di prestito Saikat.
‫Ora, la prossima cosa che faremo perché abbiamo chiamato fit, vogliamo mettere un piccolo punto e virgola in modo
‫da non ottenere un grande risultato.
‫Sai cosa?
‫Questo avviso continua a comparire, quindi potremmo continuare a cambiarlo e stimare uguale a 100.
‫Meraviglioso.
‫E quindi il punteggio di Crossville, contiene la parola punteggio, ma abbiamo visto cosa fa questo Crossville?
‫Bene, diamo un'occhiata come andiamo a vedere il nostro punteggio.
‫Faremo prima i dati del test in modo da poter confrontare e poi faremo lo stesso.
‫Ma questa volta, utilizzando Crossville Score, Crossville Score e Crossville Score prende il nostro classificatore.
‫Prende i dati X e prende i dati Y, non il test.
‫E non il treno.
‫Vedremo cosa sta succedendo in un secondo.
‫Oh, cosa sta succedendo qui e ancora, stiamo ricevendo un altro avviso, questo solo per dire che il
‫valore predefinito di C. V cambierà da tre a cinque.
‫Quindi, se diamo un'occhiata a questa scheda di spostamento.
‫Leggiamo la dottrina, valutando un punteggio per convalida incrociata che cosa è anche convalida incrociata, e
‫quindi C. V ci darà un avvertimento.
‫Ecco da dove arriva quell'avvertimento.
‫Se cambiamo questo da C. V Eagles', il valore predefinito è tre.
‫Se lo cambiamo in cinque, quell'avviso scomparirà e quindi otterremo una matrice di
‫cinque punteggi diversi.
‫Hmm.
‫Quindi questa è probabilmente la prima differenza che noterai.
‫Il punteggio Crossville restituisce un array, mentre il punteggio restituisce solo un singolo numero.
‫OK, quindi come possiamo capirlo?
‫Dobbiamo capire cos'è la convalida incrociata perché è, dopo tutto, quello che sta facendo Crossville Score,
‫tornando alla fila del molo.
‫Valutare un punteggio per convalida incrociata sfortunato.
‫Ecco qualcosa che ho preparato in precedenza per dimostrare e, come sempre, capisco meglio le cose visivamente.
‫Potresti fare lo stesso per dimostrare cosa sta facendo la convalida incrociata.
‫Quindi quello che abbiamo fatto prima nella nostra normale stecca di test di allenamento, quindi abbiamo diviso i nostri dati in allenamento in modo che questo
‫potesse essere un soggiorno.
‫Abbiamo iniziato con 100 cartelle cliniche.
‫L'abbiamo diviso in una divisione di allenamento.
‫Nel nostro caso, abbiamo usato l'80% e questo conterrebbe campioni del treno X e del treno Y 80.
‫E ho usato il numero 100 qui.
‫Abbiamo davvero di più.
‫Ma questo è solo perché i numeri funzionano visivamente meglio qui.
‫E nel nostro set di dati di test, abbiamo il 20% dei dati che conterrebbero il test X e il test Y.
‫Ora, la differenza qui con la convalida incrociata e nel nostro caso, questa immagine qui dimostra una convalida incrociata di
‫cinque volte.
‫Quello che probabilmente vedi a cui si fa riferimento alla convalida incrociata è K fold, dove K è un numero arbitrario.
‫E il motivo per cui ne usiamo cinque è perché siamo tornati qui.
‫C. V è uguale a cinque lì.
‫Quindi questo sta per convalida incrociata.
‫E questo è ciò di cui sto parlando, suddividendo i nostri dati in training e test utilizzando il 20% per il
‫sito di test.
‫Quindi questo significa che naturalmente l'altro 80 percento va ai dati di allenamento, da cui deriva questa
‫piccola divisione.
‫Ora, ciò che fa la convalida incrociata è che esegue cinque diverse suddivisioni, quindi utilizzerà il primo 20 percento.
‫Quindi vedi come qui si usa l'ultima tabella, qui il 20 percento.
‫Quindi creerà un set di dati di test qui e un set di dati di allenamento qui.
‫Quindi mi sposterò qui e userò questo come set di dati di prova e poi di nuovo.
‫E ancora e ancora.
‫Quindi ciò che accade è che la convalida incrociata addestra cinque diverse versioni del modello e quindi valuta che
‫tali modelli siano stati addestrati su ciascun dato di addestramento su cinque diverse versioni dei dati di test.
‫Allora qual è lo scopo di questo?
‫Bene, come puoi immaginare, se stiamo addestrando solo un modello, potrebbe essere una suddivisione fortunata come, diciamo, questo, l'80% delle righe dice
‫che aveva un sacco di informazioni nel modello, era in grado di apprendere molto
‫bene su queste ottanta righe, su queste 80 cartelle cliniche.
‫E poi ha ottenuto un ottimo punteggio su questo set di prova.
‫È un vero riflesso di come il nostro modello comprenderebbe i dati o ne individuerebbe i
‫modelli?
‫Beh, non proprio giusto.
‫Perché è solo fortuna, no?
‫Se lo dividiamo in modo casuale e in qualche modo un mucchio di cartelle cliniche facili sono arrivate qui e i
‫modelli hanno capito determinati schemi e sono passati a qui.
‫Questo set di dati di test e ha ottenuto un punteggio incredibile.
‫Potremmo ingannarci.
‫Potremmo illuderci che il nostro modello sia di gran lunga migliore di quello che è in realtà.
‫Quindi è qui che entra in gioco la convalida incrociata.
‫Ha lo scopo di fornire una soluzione per non allenarsi su tutti i dati ed evitare di ottenere quei punteggi fortunati
‫su una singola divisione di dati in modo da creare cinque diverse divisioni.
‫Quindi, non importa cosa, il nostro modello verrà addestrato su tutti i dati e valutato su tutti i
‫dati.
‫Ed ecco perché se torniamo.
‫Per vedere il punteggio di Crosswell, è per questo che ci restituisce cinque punteggi diversi qui.
‫Oh, quindi inizia ad avere senso se chiamiamo il parametro del punteggio solo sui nostri dati di test.
‫E ora perché i dati dei test restituiranno una scuola.
‫Ma se chiamiamo punteggio Crossville perché ci riferiamo al grafico qui, farà cinque diverse
‫divisioni.
‫E ricorda, cinque volte è solo un numero arbitrario.
‫Potresti fare dieci volte, potresti fare tre volte.
‫Potresti anche fare un 100 volte.
‫Ma cinque volte è l'impostazione predefinita della libreria.
‫Di solito è abbastanza buono, a seconda delle dimensioni dei dati.
‫Quindi useremo Five-fold per dimostrare qui.
‫Giusto per dimostrartelo, possiamo entrare qui, Crosswell School e fare 10.
‫Quindi questo significa che farà solo dieci divisioni diverse, esattamente come questa.
‫E poi restituisci 10 punteggi diversi.
‫Quindi dici qui, questo è un ottimo esempio sulla divisione uno, deve segnare il punto nove.
‫Quindi potrebbe essere il 90 percento, che è più alto qui.
‫Ma su una divisione più leggera, ha qualcosa di molto più basso, 72.
‫Quindi quello che facciamo qui è capire una metrica di prestazione o una metrica di valutazione più ideale per il nostro
‫modello è che possiamo prendere la media di questi cinque punteggi.
‫Vediamo che succede.
‫Faremo tutto in una cella, seme casuale.
‫E quello che faremo è ottenere un singolo allenamento e un punteggio di test.
‫Mi assicurerò di vedere un singolo punteggio e vado a vedere che ho lasciato il test della scuola X.
‫Utilizzerà gli stessi dati qui.
‫Perché testare?
‫Meraviglioso.
‫E poi andremo a frequentare la scuola di convalida incrociata Mane of Five-fold.
‫L'autoscuola è uguale all'ENPI principale, quindi abbiamo bisogno della scuola incrociata X, oh no, dobbiamo passarla.
‫Il nostro classificatore X, Y e usiamo CV è uguale a cinque e poi.
‫Confronta i due.
‫Quindi vedremo un singolo dal vivo.
‫Punteggio e poi punteggio Silver Cross Valley.
‫Allora cosa vediamo qui?
‫Ebbene, nel nostro caso.
‫Il nostro punteggio singolo originale, che ora è qui sotto, è esattamente lo stesso numero, perché
‫stiamo usando un seme casuale, usando gli stessi dati di test, il nostro punteggio singolo è zero virgola otto cinque.
‫Ma quando usiamo la convalida incrociata, quando usiamo cinque split perché S. v. uguale a cinque, otteniamo un punteggio di
‫virgola otto due.
‫Quindi è leggermente più basso.
‫Ma in questo caso, se ti viene chiesto di segnalare l'accuratezza del tuo modello, anche se
‫è inferiore, preferisci la metrica di convalida incrociata rispetto alla metrica di non convalida incrociata.
‫Ora aspetta, non abbiamo nemmeno usato il parametro di punteggio.
‫Bene, questo perché per impostazione predefinita è impostato su nessuno.
‫Diamo un'occhiata al parametro di punteggio impostato su nessuno.
‫Per impostazione predefinita, è un record Sealife della scuola di Crossville, x, y CV, possiamo passare il punteggio qui e non sarà detto a
‫nessuno.
‫Quindi, se ci muoviamo su questo, come faccio a saperlo?
‫Beh, fortunatamente il dottore torna utile.
‫C per impostazione predefinita, è impostato su nessuno.
‫Quindi, se continuiamo a scorrere verso il basso.
‫Forse il nostro notebook, quindi stringa di punteggio richiamabile su nessuno, impostazione predefinita opzionale, nessuno.
‫Oh, ok, una stringa vedi la documentazione di valutazione del modello.
‫Questo è quello che abbiamo dovuto cercare qui.
‫O una funzione oggetto globale Sakurako con un punteggio di firma, una stima
‫di x Y, che dovrebbe restituire solo un singolo valore se nessuno, la stima è il punteggio predefinito se disponibile.
‫Bene.
‫Ora, questo è il motivo per cui sappiamo che questa è accuratezza, perché se il parametro
‫di punteggio del punteggio Crossville è nessuno, nel nostro caso utilizza il parametro di punteggio predefinito della nostra stima.
‫Che cos'è?
‫Il
‫parametro del punteggio di errore dell'accuratezza media delle aquile classificatore e dove l'abbiamo visto prima?
‫L'abbiamo visto nell'ultimo video quando abbiamo lasciato la scuola e abbiamo premuto il tasto shift tab per indicare la precisione sui dati e sull'etichetta
‫di donazione e test.
‫Ciò significa che quando il punteggio è impostato su nessuno, utilizzerà la metrica di valutazione predefinita per
‫la convalida incrociata sul nostro classificatore.
‫Quindi, se premiamo shift ed invio.
‫Restituirà gli stessi valori o potrebbe essere leggermente diverso, giusto, perché non abbiamo impostato un
‫posto in questa cella.
‫Quindi questi valori saranno diversi dalla scuola di Crossville che vediamo là fuori.
‫Se lo avessimo eseguito qui, avremmo visto valori simili.
‫Cosa abbiamo coperto qui?
‫Bene, come avrai intuito, il parametro di punteggio può essere modificato, giusto, quindi possiamo, come dice
‫lo strizzacervelli, importare qui il nostro parametro di punteggio.
‫Possiamo cambiarlo in qualcosa di diverso da nessuno.
‫Questo è ciò che inizieremo a trattare e daremo un'occhiata nei
‫prossimi video ad alcune altre metriche di valutazione del modello di classificazione che possiamo usare con la convalida incrociata.
‫E allora perché usiamo la convalida incrociata?
‫Bene, come abbiamo visto.
‫Nella foto, la convalida incrociata mira a risolvere il problema del non training su tutti i dati, giusto?
‫Quindi stiamo creando cinque modelli e finiamo per avere un modello addestrato su tutti i dati ed evitare di
‫ottenere punteggi fortunati.
‫Quindi ci siamo allenati su una singola spaccata e l'abbiamo visto in azione.
‫Con il nostro punteggio di suddivisione singola qui, abbiamo ottenuto un punteggio leggermente più alto rispetto al nostro punteggio di convalida incrociata.
‫Bene, questa è legge ora.
‫Abbiamo ancora un po' da fare.
‫Prendiamo in considerazione alcune metriche di classificazione approfondite.
‫Ci vediamo nel prossimo video.