‫Ben tornato.
‫E l'ultimo video che abbiamo visto come potremmo usare il metodo di previsione per fare previsioni senza modelli
‫di apprendimento automatico, modelli di apprendimento automatico equipaggiati su modelli di regressione o stima di regressione come nella terminologia di
‫apprendimento psichico.
‫Quindi ricontrolliamo cosa stiamo coprendo, cosa stiamo coprendo.
‫Quindi abbiamo fatto zero da uno a tre.
‫Abbiamo fatto alcune previsioni sui nostri dati perché l'obiettivo finale del machine learning è
‫fare una sorta di previsione.
‫Abbiamo alcuni dati esistenti.
‫Vorremmo provare un algoritmo su quei dati per trovare modelli e utilizzare tali modelli per fare previsioni
‫in futuro.
‫Quindi, ma altrettanto importante quanto fare quelle previsioni è valutare quelle previsioni.
‫Quindi saltiamoci dentro.
‫Scriverò qui un nuovo titolo.
‫Ne ho 4. 0 valutazione di un modello di apprendimento automatico.
‫Il motivo per cui valutiamo i nostri modelli è perché abbiamo creato un modello per prevedere qualcosa e poi
‫abbiamo voluto inserirlo in un'applicazione.
‫Se il nostro modello fa previsioni scadenti, sarebbe una grande esperienza per chiunque utilizzi
‫quell'applicazione?
‫Probabilmente no.
‫Quindi, prima di inserire i nostri modelli nell'applicazione o prevedere qualcosa che sarà piuttosto critico,
‫vogliamo valutare le previsioni esistenti che possiamo.
‫Quindi, con Typekit impara che ci sono tre modi per valutare bene, tre modi incorporati per creare le tue ponderazioni
‫personalizzate, ma tre modi per valutare le stime dei tagli dei modelli delle linee di presa.
‫Questi fanno parte di questa libreria della linea Typekit.
‫Uno è la stima è costruita nel metodo del punteggio.
‫Finora abbiamo avuto un po' di esperienza con questo.
‫Due è il parametro di punteggio.
‫Non abbiamo visto quel parametro di punteggio che potremmo avere.
‫In realtà, abbiamo trattato molto, ma esamineremo ciascuno di questi e poi le funzioni metriche specifiche
‫del problema.
‫Quindi, a seconda del tuo lavoro con la classificazione o la regressione, ci saranno metriche di valutazione specifiche per
‫ciascuno di quei tempi problematici.
‫E da dove lo prendiamo?
‫Bene, questo sta entrando nella documentazione del prestito socket.
‫Questa è metrica e il punteggio è un pezzo molto importante.
‫Questo è il tuo vero curriculum, tra l'altro.
‫Per leggere questo, non devi sapere tutto questo a memoria, ma devi solo capire
‫dove trovare queste informazioni.
‫Questa è una parte importante dell'essere un programmatore e soprattutto un ingegnere dell'apprendimento automatico.
‫Uno scienziato dei dati sta solo sapendo dove guardare, dove scoprire le cose.
‫Quindi lo metto qui e ho preso le tre diverse API.
‫Quindi abbiamo il metodo della scuola stimata, il parametro di punteggio e le funzioni metriche.
‫Iniziamo a scomporre ciascuno di questi.
‫Ehi, lo porterò qui.
‫E poi questo è lo metto qui.
‫Puoi leggere di più su questi qui.
‫Meraviglioso.
‫Quindi facciamo solo un riassunto del metodo del punteggio e lo formatterò per renderlo bello e
‫carino.
‫Palla in quello - bello.
‫Facciamo un riassunto, quindi lo metterò un po', non un po' qui.
‫Quattro punto uno Andremo a valutare un modello con il metodo del punteggio.
‫Trasformalo in markdown e andremo da S. K. importazione di ensemble appresi Random Forest Classifier.
‫Quindi lo faremo con i nostri dati di classificazione.
‫Primo MP, seme casuale.
‫Quarantadue.
‫Adesso ti voglio.
‫voglio che tu te lo dia.
‫Lanciati una sfida qui.
‫Crea X e Y.
‫Ho intenzione di lasciare alcuni commenti qui.
‫Crea X e Y.
‫Crea test del treno.
‫Quindi questo sarà X uguale a malattie cardiache, qualcosa che usiamo il nostro set di dati sulle malattie cardiache e
‫poi vogliamo creare.
‫Scenderò qui l'istanza del modello di classificatore e quindi adatterò il classificatore ai dati di addestramento.
‫Quindi questa è la mia sfida per te.
‫Sto per farti pubblicare il video qui e provare a compilare questi commenti
‫da solo, ma tornerò tra tre a.
‫Uno sul retro, quindi spero che tu ci abbia dato una possibilità per riempirli, ma in caso contrario, va bene.
‫Li esamineremo insieme.
‫Abbiamo scritto questo codice proprio qui, e questa è una delle poche volte in cui ti permetterò di
‫copiare e incollare il codice come se avessimo ottenuto cose, se riscrivessimo cose che abbiamo scritto un certo numero di
‫volte prima.
‫Quindi ho intenzione di copiare questo.
‫Ho intenzione di abbattere questo.
‫Stiamo verificando il metodo del punteggio, è il primo che stiamo verificando, quindi copialo e
‫incollalo.
‫Quindi il salvataggio casuale crea i dati, dividi i dati, crea un'istanza del classificatore forestale casuale.
‫Ora credo, sì, una stima è 100 per impostazione predefinita.
‫Lo lasceremo lì comunque.
‫Adatta il modello ai dati di addestramento.
‫Quindi lasciamo che questo funzioni alla grande.
‫Quindi abbiamo un classificatore forestale casuale adatto.
‫Bello e veloce.
‫E ora come pensi che utilizzeremo il metodo del punteggio?
‫E questa è una domanda un po' trabocchetto perché l'abbiamo appena visto sopra in realtà proveniva dalla cella in cui
‫abbiamo copiato tutto questo.
‫Quindi proviamoci, Cliff, non segnare.
‫E che ne dici di provare a segnare su quei dati di allenamento 1. 0?
‫Ora, perché potrebbe ottenere un punteggio di 1. 0 sui dati di allenamento se immaginiamo il valore più alto per il
‫punteggio, a proposito, qual è?
‫Lo scriverò esplicitamente.
‫Il valore più alto per il metodo del punteggio è 1. 0, il più basso è zero virgola zero, quindi 1. 0.
‫Il metodo di punteggio predefinito per un algoritmo di classificazione è l'accuratezza.
‫Restituire l'accuratezza media sui dati e sulle etichette del test forniti.
‫E ora, ovviamente, dovremo convertirlo in percentuale se vogliamo la precisione in percentuale.
‫Quindi 1. 0 è una precisione del 100%.
‫Quindi se questo fosse zero virgola otto, sarebbe una precisione dell'80%.
‫Ora, perché il nostro modello di machine learning ottiene il 100% di punteggio perfetto?
‫Ti ho già detto di essere scettico su qualsiasi modello di apprendimento automatico che ottiene un punteggio perfetto ovunque?
‫In caso contrario, considera che questo sono io che ti sto dicendo di essere sempre scettico sulle metriche perfette.
‫Perché il nostro modello ottiene un punto sui dati di addestramento?
‫Bene, questo è dovuto al fatto che ha avuto esposizione a tutte le caratteristiche dell'allenamento e a tutte le etichette
‫dell'allenamento.
‫Quindi, se il modello è abbastanza potente, otterrà un punteggio perfetto sui dati di addestramento perché è
‫in grado di dividere i dati.
‫Nel nostro caso, è binario zero uno.
‫È in grado di prevedere da tutti i valori estremi.
‫È in grado di prevedere perfettamente tutti i valori del treno Y.
‫Ora potrebbe essere uno scenario diverso da ricordare per il giorno del test.
‫Non ha ancora visto i campioni di prova.
‫Vogliamo che il nostro modello sia in grado di apprendere abbastanza dalle funzioni di addestramento e dalle etichette di addestramento per fare previsioni
‫su campioni mai visti prima.
‫Questo è il punto cruciale dell'apprendimento automatico, apprendere modelli e dati che abbiamo esistenti per fare previsioni di
‫qualità su dati che non abbiamo mai visto prima.
‫Oh, quindi il punteggio è un po' meno sui dati non visti.
‫Questa è una tendenza che vedrai spesso nei tuoi progetti di apprendimento automatico e nei documenti di
‫ricerca sull'apprendimento automatico ovunque.
‫Il punteggio di allenamento è di solito a volte un po' più alto del punteggio del test, ma dovrebbe
‫essere relativamente vicino.
‫Ma la formazione sarà generalmente superiore al punteggio del test.
‫E se mai ottieni un punteggio di test perfetto come un'accuratezza del 100% o qualcosa del genere, sii sempre scettico,
‫torna indietro e controlla i tuoi dati.
‫Ma se abbiamo peggiorato un po' il nostro modello e magari usiamo solo cinque stime, vediamo cosa succede qui.
‫Numero di stima come uguale a cinque.
‫Cos'è la scuola di formazione?
‫Vedi come otteniamo un punteggio non perfetto?
‫Quanti possiamo spingerlo a diventare perfetto?
‫Ci siamo.
‫Ne servono solo 10.
‫Questo è il potere di un algoritmo di insieme.
‫E se ne usiamo solo due?
‫Cosa ottiene?
‫Ottiene ancora il 90 percento con solo due, ma come si comporta?
‫Vedi, otteniamo un punteggio molto peggiore, quindi questo è l'algoritmo dell'ensemble.
‫In poche parole, la foresta casuale è uno degli algoritmi di insieme più potenti e veloci, quindi
‫usiamo 10 qui per ottenere un punteggio perfetto sui dati di addestramento.
‫E se lo aumentassimo forse fino a 500?
‫Possiamo aumentare il punteggio del test?
‫In realtà non otteniamo un punteggio di test molto più alto, anche se ne usiamo forse mille.
‫Dici come puoi modificare cose diverse con i modelli di apprendimento automatico.
‫Questa è la parte divertente, giusto?
‫È modificare cose diverse e ottenere risultati diversi.
‫Ora andiamo avanti.
‫Abbiamo visto il metodo della scuola per i classificatori.
‫Ricorda, la metrica di valutazione del punteggio predefinita nei modelli di classificazione e nella linea del socket è la precisione che puoi
‫trovare sulla stringa del dock.
‫Facciamo lo stesso.
‫Usiamo il metodo del punteggio sul nostro problema di regressione.
‫Così.
‫Lo lascerò a te.
‫Vorrei che replicassi questo, ma per un set di dati di regressione e utilizzando l'algoritmo di regressione e testando il metodo
‫del punteggio, ti darò un suggerimento che l'abbiamo fatto prima.
‫Ma vorrei che provassi a scriverlo da solo questa volta.
‫Fai lo stesso set up, set up.
‫Crea i dati, dividi i dati.
‫Fai in modo che il modello si adatti al modello.
‫Segna il modello.
‫Ci vediamo nel prossimo video.