‫Spero che tu sia pronto, perché ora è il momento di addestrare un modello sui dati completi.
‫Abbiamo verificato che tutto funziona controllando i nostri modelli, le previsioni, valutandoli e andando, sì,
‫il nostro modello sta sicuramente imparando qualcosa.
‫Ma dal momento che l'abbiamo addestrato solo su un migliaio di immagini, vediamo se possiamo addestrare un modello in scala
‫reale come il nostro primo addestramento completo del modello di apprendimento profondo su oltre 10.000 immagini.
‫Ed è qui che entrerà in gioco la potenza delle funzioni che abbiamo creato in precedenza.
‫Quindi facciamo un piccolo capitolo per noi stessi, addestrando un modello, in realtà, chiamiamolo addestrare un modello di
‫cane grande.
‫E potremmo mettere un po' di Mojie qui.
‫Dai dati completi e ottieni è un modello di cane grande, perché lo stiamo provando su molte immagini di cani.
‫Adoro questo progetto ora.
‫Codice, ciò di cui abbiamo bisogno è ricordare, proprio in alto, se non lo fai, va bene.
‫Adesso daremo un'occhiata.
‫Abbiamo X e Y, Lennix Y, e tutto questo riguarda i dati di allenamento.
‫Questi sono i nomi dei file e queste sono le etichette.
‫Quindi, se veniamo qui, X è tutti i nomi di file in treno.
‫Quindi, se diamo un'occhiata al primo forse 10 di X, 10 di X.
‫Questi sono tutti i nomi dei nostri file immagine di allenamento, li abbiamo divisi prima in treno X, che è lungo solo
‫800.
‫Ci siamo.
‫Quindi, se diamo un'occhiata al treno X.
‫Solo 800 immagini, quindi al momento il nostro modello è stato addestrato solo su 800 immagini e, se
‫vogliamo dare un'occhiata al motivo, perché le etichette sono associate a ciascun percorso di file?
‫Sotto forma di Boulin di riso.
‫Quindi cosa dobbiamo fare per addestrare un modello completo se torniamo al nostro Keano, qual è il nostro flusso di lavoro?
‫Prepara i dati, trasformali in Tensas?
‫Bene, abbiamo una funzione per questo.
‫Ti ricordi?
‫Crea batch di dati.
‫Se non lo fai, va tutto bene.
‫Abbiamo creato una funzione per questo e abbiamo scelto un modello adatto al tuo problema.
‫Quindi ce l'abbiamo.
‫Possiamo semplicemente usare create model e quindi adattare il modello ai dati e fare una previsione.
‫Diamoci una sbirciatina.
‫Quindi andiamo a creare un batch di dati.
‫Con l'intero set di dati, quindi è qui che le funzioni aiutano davvero in seguito nel tuo notebook, ti
‫ho detto che ne valeva la pena per i dati uguali creare batch di dati.
‫Guarda questo, questa è la nostra funzione che abbiamo scritto sopra, crea dati, batch di dati dell'immagine X
‫e coppie di etichette Y, bella mescola i dati se si sta allenando ma non lo fa.
‫Beh, questo è un po' un ostacolo che non possiamo vedere che accetta anche l'input del testatore.
‫Nessuna etichetta.
‫Quindi va tutto bene.
‫Questi non sono dati di addestramento, quindi creiamo una banca dati completa.
‫Ora diamo uno sguardo ai dati completi.
‫È una brutta giornata per impostare belle immagini ed etichette, meravigliose e se ti stai chiedendo cosa fa effettivamente creare
‫patch di dati.
‫Torniamo subito su se diamo un'occhiata al nostro indice qui.
‫Cosa stiamo facendo?
‫Visualizzazione di batch di dati?
‫Trasforma i nostri dati in batch.
‫Quindi ecco la nostra grande funzione, creare batch di dati, ci vogliono X e Y.
‫Ed ecco cosa sta succedendo, questo perché è un set di dati di allenamento, che crea dati di allenamento, badge, trasforma
‫X e Y in tempi.
‫Li mescola e quindi mappa la nostra funzione di elaborazione dell'immagine e ottiene la funzione etichettata sui
‫dati.
‫E poi trasforma i dati in una dimensione batch di 32.
‫Ma abbiamo già visto un video lì.
‫Quindi, se hai bisogno di un aggiornamento, torna indietro e guarda il video in cui abbiamo creato questa funzione.
‫Quindi torniamo a dove eravamo.
‫Quindi ora abbiamo riavuto i nostri dati.
‫Qual è il prossimo passo?
‫Bene, abbiamo bisogno di un modello.
‫Quindi creiamo un modello per il modello completo per modello uguale a creare modello.
‫Ricorda cosa ho creato la funzione modello.
‫Oh, niente dottore.
‫Hmm, bene, eseguiamolo comunque.
‫Possiamo andare a dare un'occhiata.
‫Quindi costruire un modello con TFR dev image net, mobile net V2.
‫Quindi abbiamo un modello.
‫OK, abbiamo un set di dati batch e abbiamo un modello.
‫Ora, se vogliamo controllare cosa fa create model, dove sta costruendo un modello.
‫Se veniamo quaggiù, questa è la nostra funzione di creazione del modello, non ha una dottrina, forse è qualcosa che
‫potresti aggiungere.
‫Quindi crea una funzione che costruisca il modello di un caregiver.
‫Quindi quello che sta per passare è passare attraverso i passaggi che sono stati necessari prima per creare un modello
‫sequenziale utilizzando il modello da cui abbiamo scaricato tendono a seguire l'hub e uno strato denso in alto per assicurarci che i nostri
‫output siano delle stesse dimensioni delle etichette che noi abbiamo.
‫Compilerà il modello con una funzione di perdita e ottimizzerà, che è il nostro amico Adam, il
‫ragazzo in fondo alla collina, che ci dice come scendere dalla collina ai campionati internazionali di discesa
‫in collina e le metriche sono l'accuratezza è ciò che noi' ciò che stiamo misurando.
‫E poi stiamo costruendo il modello alimentando la forma di input, che è la dimensione della nostra immagine.
‫Meraviglioso.
‫Ritorno.
‫Quindi come possiamo addestrarlo?
‫Qual è il prossimo?
‫Cosa facciamo dopo?
‫Bene, abbiamo creato alcuni callback, quindi potremmo dover fare alcuni callback specifici per i nostri modelli.
‫Facciamolo.
‫Andiamo a creare un modello completo di callback.
‫Modello completo teso a bordo di ECLSS.
‫Crea una bacheca, richiama.
‫Ci siamo.
‫C'è la nostra funzione di prima per creare un 10 Bolkovac, ricorda che il callback della scheda Tensor ci aiuta a
‫tenere traccia delle prestazioni del nostro modello e confrontarlo con gli altri.
‫E quindi non c'è nessuna convalida impostata durante l'addestramento su tutti i dati.
‫Pertanto, senza l'interruzione anticipata della richiamata, non possiamo monitorare l'accuratezza della convalida, quindi per l'interruzione anticipata della richiamata è necessaria
‫l'interruzione anticipata del modello completo.
‫Corrisponde a due badanti, punto richiamate, punto arresto anticipato.
‫Ci siamo, e lo faremo monitorare la precisione quando il nostro modello si sta allenando sui dati
‫del telefono, quando la sua precisione smette di aumentare per tre epoche.
‫Faremo in modo che smetta di allenarsi in modo che non si adatti troppo o cercheremo di impedire
‫che si alimenti troppo.
‫Quindi cambia ed entra.
‫Meraviglioso.
‫Sembra che potremmo avere una ricetta per iniziare ad addestrare il nostro modello, quindi adatta il modello completo ai dati
‫completi.
‫Quindi ecco dove possiamo andare.
‫Possiamo andare per il modello, non in forma.
‫Quindi stiamo solo chiamando il modello che abbiamo creato.
‫Outfit X corrisponde ai dati completi.
‫Ora, non c'è un set di convalida, ricorda, perché ci stiamo allenando sui
‫dati completi, le epoche saranno 100 o potrebbero essere solo NUM epoche perché abbiamo impostato Naameh Parks prima e avremo callback,
‫che sono i due callback che abbiamo appena creato.
‫Ora, si tratta solo di eseguire esattamente gli stessi passaggi di quello che abbiamo fatto, addestrare un modello più piccolo,
‫ma questa volta con più dati.
‫Meraviglioso.
‫E ora metterò una piccola nota qui per darti un piccolo avvertimento e lo
‫parlerò ad alta voce così sai anche che l'esecuzione della cella qui sotto richiederà un po' di tempo, forse fino a 30 minuti o forse un po
‫'più lungo.
‫30 minuti per la prima epoca, perché la GPU che stiamo usando e il runtime devono caricare tutte le immagini
‫in memoria.
‫Quindi il primo aeroporto, ricorda, con il nostro modello più piccolo su un migliaio di immagini, il primo Depok ha impiegato
‫un paio di minuti, forse tre o quattro minuti, come puoi immaginare, perché questo è sul set di
‫dati completo.
‫Si sta allenando con 10.000 immagini.
‫Quindi ci vorrà un po' di più per caricare tutti i dati per il primo APOC.
‫Quindi, prima di eseguirlo, se tutti i codici sono corretti, in realtà potrebbe andare in onda.
‫Ecco perché invece di provare i dati completi dall'inizio, ci siamo assicurati che tutto funzionasse perché durante l'addestramento di
‫una macchina completa, l'apprendimento o un modello di apprendimento profondo completo.
‫Può richiedere molto tempo e, poiché siamo piuttosto fortunati qui, questo si allenerà entro un'ora perché
‫stiamo usando una GPU.
‫Ma puoi immaginare che se lavori in un'azienda più grande, potresti lasciare qualcosa di formazione per una
‫settimana.
‫Ecco perché vuoi assicurarti che quando imposti gli esperimenti, immagina di addestrare un modello di deep
‫learning per un'intera settimana e poi si scopre che non funzionava.
‫Ecco perché abbiamo eseguito tutti i passaggi precedenti per assicurarci che tutto funzioni.
‫Quindi, prima di addestrare un modello enorme, possiamo essere sicuri, OK, le cose sono a posto.
‫Diamo il via a un ciclo di allenamento completo.
‫Quindi sei pronto.
‫Stiamo per addestrare il nostro primo modello di deep learning completo su oltre 10.000 immagini.
‫La visione del cane sta davvero diventando una realtà.
‫Qui con me, turno tre contro uno ed entra.
‫Incrociamo le dita, si spera che funzioni, dovremmo vedere apparire una piccola barra di caricamento e poiché abbiamo impostato
‫il numero di epoche su 100, continuerà ad allenarsi fino a 100 epoche.
‫Ma se smette di migliorare, abbiamo il nostro modello completo che interrompe la richiamata anticipata che si
‫fermerà presto all'addestramento e quindi potremo controllare i risultati utilizzando la scheda Tensor al termine.
‫Quindi aspetteremo solo che inizi, e poi quello che probabilmente farò è mettere in pausa questo video perché ci
‫vorrà circa mezz'ora.
‫Vado a prendermi una piccola pausa.
‫Forse potresti fare una passeggiata per il relax.
‫Oh.
‫Forse ci vorrà un po' più di mezz'ora.
‫Questa volta dovrei scendere a meno che il mio test non sia errato.
‫Ma aspetta qualche secondo e poi tornerò su questo video una volta che il modello si sarà fermato.
‫Quindi, una volta che il modello ha interrotto in anticipo l'intero modello, è entrato in funzione l'arresto anticipato della richiamata.
‫OK, quindi lascerò che questo funzioni per tutto il tempo necessario.
‫Tornerò una volta che il mio modello si sarà fermato grazie allo stop anticipato e richiamerò.
‫Quindi ci vediamo tra un paio di secondi.
‫Ma per me, ci vorranno un paio d'ore nel futuro.
‫Forse sono anche un paio d'ore nel tuo futuro.
‫E siamo tornati.
‫D'accordo, diamo un'occhiata al nostro modello completamente addestrato.
‫Come puoi vedere, la mia prima epoca ha richiesto un tempo abbastanza lungo e questo in realtà richiederà un momento se
‫lo finisci, se sei passato attraverso questo.
‫Devi darti una pacca sulla spalla, perché questo è come un rito di passaggio,
‫allenare la tua prima rete neurale di fine e deep learning e ci è voluto molto tempo.
‫Una delle cose che dovrai capire quando diventerai uno scienziato dei dati,
‫un ingegnere dell'apprendimento automatico, è come passare il tempo mentre il tuo modello si allena.
‫Quindi sono andato a fare una passeggiata con i miei cani perché questo ne ha preso uno.
‫Quanti secondi sono?
‫Quindi quattromilasettecentotrenta diviso per sessantasettantotto minuti.
‫Quindi poco più di un'ora per fare la prima epoca.
‫Ma come ho detto, dopo che le immagini sono state caricate nella memoria GPS, controlla quanto velocemente va dopo.
‫E quello che probabilmente vorrai fare è mentre questa cella è in esecuzione, avrei
‫dovuto dirtelo prima, ma puoi prendere nota per il futuro poiché questa cella è in esecuzione, vuoi avere un modello di
‫salvataggio in esecuzione in quel modo .
‫Una volta che il tuo modello interrompe l'addestramento, grazie all'arresto anticipato, il nostro arresto anticipato richiama qui.
‫Chiamerà automaticamente la nostra funzione di salvataggio del modello e salverà il nostro modello completo nella nostra directory dei modelli.
‫Ora veniamo qui e diamo un'occhiata ai modelli.
‫Oh, ne ho alcuni lì.
‫Quindi vediamo, sarà quello con il.
‫Ci siamo, l'immagine completa è impostata su di esso, il 2 febbraio e ho iniziato verso le 17:00. m. Quindi questa volta è effettivamente sbagliato
‫per me perché non ne sono sicuro.
‫Forse l'ora della data sta ottenendo l'ora sbagliata per me.
‫Ma ci siamo.
‫Questo è salvato.
‫Qui abbiamo il nostro percorso.
‫Quindi ora possiamo dare un'occhiata, il nostro modello ha finito per funzionare abbastanza bene.
‫Guarda quello.
‫Questa è la precisione dell'allenamento.
‫Ma qui sono un po' scettico.
‫Tu sai perché?
‫Perché non lo confermiamo.
‫Questo è solo un modello di training sui dati di training completi.
‫Quindi veniamo qui.
‫Si sta allenando su tutte le immagini in questo treno per X e Y.
‫E quindi non possiamo davvero testare su un set di convalida, ma quello che possiamo fare è importare il set di dati di test che
‫abbiamo originariamente scaricato da Kagle.
‫Eccoci qui, il file di test e possiamo importarli, trasformarli in un gruppo di dati e quindi utilizzare il nostro modello per
‫fare previsioni e inviarli a Kagle.
‫Come?
‫Perché sono così che il nostro modello è salvato.
‫Testiamo la nostra funzione del modello di carico.
‫Quindi caricato per il modello è uguale al modello di carico.
‫Stiamo solo andando a copiare questa parte qui.
‫OK, stanno caricando il modello completo.
‫E se copiamo questa riga qui.
‫Prendere.
‫Bene, non vogliamo metterlo lì.
‫Vogliamo metterlo qui come una stringa.
‫Verifichiamolo.
‫Meraviglioso.
‫Sta attraversando, questo è quello che stiamo cercando.
‫Quindi, di nuovo, riceviamo quegli avvertimenti alla fine della documentazione che possono essere ignorati.
‫Va bene.
‫Ora, cosa c'è dopo?
‫Bene, penso che ora che abbiamo un modello completamente addestrato su tutte le oltre 10.000 immagini, penso che vedremo come fare
‫alcune previsioni sul set di dati di test.
‫Quindi facciamolo nel prossimo video.