‫Ben tornato.
‫Negli ultimi video, abbiamo speso un bel po' di sforzi per ottenere i nostri dati in un formato
‫accessibile.
‫Adesso ce l'abbiamo.
‫Quindi, diamo subito un'occhiata.
‫Abbiamo Bulleen Labels, che sono le nostre etichette in formato numerico.
‫Daremo un'occhiata ai primi due in modo che non occupino troppo spazio.
‫Ci siamo.
‫Vero e falso, possiamo accedere a quelli come zero e uno molto facilmente.
‫E lo stesso vale per i nostri percorsi di file, quindi queste sono le nostre immagini di addestramento qui e abbiamo interrotto la
‫discussione su come Kagle non ci fornisca un set di convalida.
‫Quindi creando il nostro set di convalida e così dal momento che il set di dati di Kagle non arriva.
‫Con il set di convalida, creeremo il nostro e ricorderemo dall'inizio dell'apprendimento automatico, quando ho vinto
‫il concetto più importante.
‫L'apprendimento automatico è un tre sei, un. K. un. il training set, il validation set e il test set.
‫Quindi in questo momento abbiamo il set di allenamento e un set di test, ma vorremmo questo set di convalida, che
‫è come l'esame pratico.
‫Quindi, per ribadire, stiamo provando un modello di apprendimento automatico sul set di addestramento.
‫Lo valuteremo su un set di convalida per vedere se i nostri esperimenti che abbiamo fatto sul set di
‫addestramento stanno andando bene.
‫E poi, finalmente, l'esame finale è il nostro set di prova.
‫Quindi vorremmo questo piccolo set intermedio per convalidare il nostro esperimento iniziale.
‫Ecco perché creeremo un set di convalida.
‫E ora per farlo, cosa potremmo usare?
‫Cosa abbiamo usato in passato?
‫Voglio che pensi che questo sia nella sezione della linea della presa.
‫Se dicessi di voler dividere, avresti ragione.
‫Ora può essere un po' confuso perché dice e prova split.
‫Ma in realtà, la funzionalità della funzione consiste semplicemente nel dividere i dati in due insiemi diversi, un insieme di
‫una certa dimensione e un altro insieme di un'altra dimensione.
‫Sistemiamolo.
‫Ma prima, quello che potremmo fare è impostare le variabili X e Y.
‫Ora, il motivo per cui lo facciamo è perché.
‫Dover ricordare le etichette del bowling e i nomi dei file è un po' noioso.
‫Quindi quello che potremmo fare è creare X, che è la nostra variabile standard per i tuoi dati, e Y, che di
‫solito è la variabile standard per la tua etichetta.
‫Quindi ne faremo solo delle copie.
‫Bellissimo.
‫E ora, dal momento che stiamo lavorando con più di diecimila immagini, diecimiladuecentoventidue, per
‫l'esattezza.
‫È una buona idea iniziare a lavorare con una parte di essi per assicurarsi che le cose funzionino prima di provare
‫un modello di apprendimento automatico e tutti.
‫Questa è una cosa da notare per i tuoi progetti, è che quando fai esperimenti, ricordi qual è il
‫nostro obiettivo?
‫È per ridurre al minimo il tempo tra gli esperimenti in modo da poter capire cosa funziona e cosa no.
‫E se usiamo diecimila esempi ogni singola volta, ci vorrà del tempo.
‫E se non hai mai addestrato un modello di apprendimento automatico o un modello di apprendimento profondo in oltre diecimila
‫immagini, quindi non hai una prospettiva di quanto tempo ci vuole, puoi credermi sulla parola che ci vorrebbe
‫molto tempo.
‫Quindi probabilmente lo ridurremo e inizieremo con circa un migliaio di immagini per cominciare e poi lo aumenteremo di cui
‫abbiamo bisogno.
‫Quindi scriviamo una piccola nota per noi stessi.
‫Inizieremo sperimentando con un migliaio di immagini e aumenteremo se necessario, ora, questo vale non solo per
‫le immagini, ma per tutti i tipi di progetti di apprendimento automatico.
‫E lo abbiamo visto in passato usando sottocampioni di quei dati.
‫Se stai lavorando su una classificazione del testo e hai centomila email e volevi classificare
‫se erano spam o non spam, potresti iniziare solo con cinquemila e poi costruire da
‫lì.
‫Quindi impostiamo un piccolo parametro.
‫Quindi imposta il numero di immagini da utilizzare per la sperimentazione.
‫Ora voglio mostrarti qualcosa di veramente interessante all'interno di CoLab, quindi creeremo un piccolo parametro qui.
‫E ora è in maiuscolo perché la convenzione che potresti vedere qua e là con i progetti di deep
‫learning è quel tipo di parametri.
‫Quindi le cose che puoi impostare come utente spesso vengono messe in maiuscolo.
‫È lì che potresti vedere queste variabili che sono complete per le maiuscole.
‫Quindi andiamo a mille.
‫E poi in CoLab ha questo poco.
‫Piccolo strumento interessante che puoi.
‫È come una funzione magica a Perram, e ora ci sto ancora lavorando, quindi forse puoi lasciare un piccolo
‫suggerimento su dove posso scoprire come farne di più se riesci a capirlo, perché ne conosco solo
‫un paio .
‫Ora, guarda questo.
‫Quindi quello che abbiamo fatto è che siamo appena andati, ehi, questo è un parametro che possiamo impostare, creare un cursore di tipo.
‫Il minimo è mille, il massimo è diecimila e il passo è mille.
‫Le immagini insensibili sono ora scomparse.
‫Senti, se andiamo così oh, sì.
‫Cinquemila, cinquemila.
‫Ottomila, ottomila, beh, potrei giocarci tutto il giorno.
‫È qualcosa che CoLab ha su Giove.
‫Oltre ad essere sostenuto da una preferenza GBU.
‫Bene, ora abbiamo un piccolo parametro, abbiamo X e Y, usiamo Saikat, Lance cerca
‫di dividere.
‫Quindi dividiamo i nostri dati in formazione e convalida dalla selezione del modello.
‫Importazione test treno suddivisi.
‫Ora, di nuovo, questo si chiama split test del treno.
‫Ma la funzionalità di base di questa funzione è quella di dividere.
‫Puoi farlo manualmente utilizzando l'indicizzazione, ma useremo solo una funzione per aiutarci.
‫È solo una suddivisione dei dati in due diversi insiemi in formazione e convalida della dimensione totale.
‫Nessuna immagine.
‫Qual è questa variabile che abbiamo impostato qui.
‫Eseguilo, vendi X, addestra X, val, questa volta non X, prova Y, disegnando Y val uguale a train test diviso X
‫fino a num immagini.
‫Quindi prenderà solo i primi mille nomi di file perché ricorda che X sono solo i nostri nomi.
‫Abbiamo ancora un'immagine importante perché è molto più veloce lavorare solo con i nomi dei file.
‫E perché le nostre etichette sono in forma booleana.
‫E la dimensione del test, di nuovo, questa è solo una convalida, la dimensione sarà del 20 percento e quindi lo stato
‫casuale è un po' come impostare un seme casuale mentre è come impostare casuale, diciamo, a 40 a.
‫Quindi lo stato casuale uguale a 42 è lo stesso che andare al seme casuale quarantadue, e se non sei sicuro di cosa fa il
‫seme casuale MPLX, c'è un video su questo.
‫Altrimenti, potresti voler semplicemente Google rapidamente cosa fa questo seme casuale.
‫Quindi andiamo al treno X solo per verificare che tutte le lunghezze dei nostri dati siano corrette perché non crederesti alla quantità di volte in cui
‫sono stato bruciato perché i miei dati avevano la forma sbagliata.
‫Passerai ore a lottare per dare la forma giusta ai tuoi dati.
‫Fidati di me.
‫Ci sono stato.
‫D'accordo, meraviglioso.
‫Quindi abbiamo un migliaio di campioni e abbiamo una dimensione del test del 20 percento, quindi
‫questo significa che ci saranno ottocento campioni nella divisione di addestramento e duecento campioni nella divisione di convalida.
‫Quindi diamo solo una rapida occhiata.
‫Diamo uno sguardo ai dati di allenamento.
‫Quindi Xchange serve a verificare che siamo ancora su questa terra, stiamo ancora lavorando con le cose giuste.
‫In effetti sono un po' troppi.
‫Devo ricordare che queste sono etichette Gullane in piena regola, quindi ce ne sono molte.
‫Quindi provando.
‫Abbiamo i file pod, giusto?
‫Questo è ciò che vogliamo.
‫E addestrando le etichette che abbiamo.
‫Etichette di bullismo, questo è ciò che stiamo cercando.
‫Bene, ora che abbiamo i nostri dati in un set di addestramento e di convalida, un piccolo sottoinsieme, badate bene, perché ricordate,
‫il nostro obiettivo per cominciare è ridurre al minimo il tempo tra gli esperimenti.
‫Quello che probabilmente possiamo finalmente fare è trasformare le nostre immagini o almeno creare alcune funzionalità per trasformare
‫le nostre immagini ed etichette in Tensa.
‫Facciamolo nel prossimo video.