‫Ora abbiamo un modello ideale che funziona abbastanza bene, sul set di dati di convalida
‫così valido, Emslie, è la metrica a cui abbiamo prestato attenzione perché questa è la metrica di valutazione per
‫questa particolare competizione cargo.
‫Ovviamente, se stai lavorando su un problema diverso o su un diverso insieme di dati, potresti avere una
‫metrica di valutazione diversa che stai cercando di migliorare.
‫Ma ora stiamo andando abbastanza bene.
‫Quindi usiamo il nostro modello ideale per fare previsioni sui dati dei test.
‫C'è un piccolo bocconcino in questa sezione che è davvero importante ricordare, e lo incontreremo tra
‫un secondo.
‫Quindi, prima di tutto, dovremo importare i dati del test.
‫Ora, se diamo un'occhiata.
‫Nella nostra cartella dei dati, quindi questo è solo nella casa di Jupiter, perché abbiamo creato una cartella di progetto per questo
‫particolare progetto e abbiamo scaricato i nostri dati, mettili qui.
‫Dentro qui, c'è un set di dati che è test CSFI.
‫Quindi questo è quello che useremo.
‫E se torniamo a Kagle, ci dice che Test CSFI è il set di prova, che non sarà rilasciato fino alla
‫competizione dell'ultima settimana.
‫Bene, al momento ce l'abbiamo dato che questa competizione è già passata.
‫Contiene i dati dal primo maggio 2012 al novembre 2012.
‫OK, quindi sono circa i sei mesi circa dopo il nostro set di convalida bellissimo.
‫E i nostri modelli si comportano bene sul set di convalida.
‫Quindi quello che potresti vedere è vedere come possiamo fare previsioni su questo futuro.
‫Sei mesi di dati.
‫Quindi testeremo il Reid di Eagles come V, che lo farà esattamente nello stesso modo
‫in cui lo abbiamo fatto all'inizio con il nostro set di dati non valido del treno lubow per i bulldozer.
‫Meraviglioso.
‫E si chiama Test Ötzi, poiché passeremo a memoria bassa uguale a falso.
‫E passeremo anche le date perché ricordate, non abbiamo fatto alcuna manipolazione a questo set di dati come
‫abbiamo fatto con gli altri.
‫Vedremo in un attimo dove arriverà e poi controlleremo i test DFG in anticipo.
‫Oh, cosa sta succedendo?
‫Oh, errori di battitura.
‫Bellissimo.
‫Quindi questo sembra familiare.
‫È qualcosa che abbiamo già visto, tranne che ora questa volta nel set di dati del test manca la colonna del prezzo di
‫vendita.
‫E il motivo è che questa è la colonna che stiamo cercando di prevedere.
‫Allora perché non vediamo se possiamo farlo?
‫Quindi andiamo al modello ideale uguale a spread.
‫Usiamo il nostro modello ideale questa volta modello non prevedere.
‫Un modello ideale ha funzionato al meglio e dovremmo essere in grado di superare l'intero frame di dati.
‫Giusto, perché questi saranno i nostri valori X e non abbiamo bisogno di eliminare alcuna colonna perché non ha una
‫colonna del prezzo di vendita.
‫Quindi vediamo cosa succede.
‫In realtà, metti un piccolo commento qui, fai previsioni sul set di dati di test e ho solo una piccola sfida
‫prima di eseguire questa cella, voglio che tu pensi a cosa potrebbe accadere al nostro modello di apprendimento
‫automatico.
‫È stato addestrato su un particolare set di dati e ora abbiamo importato il set di dati di test.
‫Cosa succederà se proviamo a fare previsioni su questo set di dati sulla base di Ti darò un suggerimento basato sui
‫dati su cui è stato addestrato il nostro modello.
‫E se non sei sicuro, va bene, lo vedremo tra un secondo, dovremmo vederlo adesso.
‫Oh, ci siamo.
‫Errore di valore.
‫OK, quello che sta succedendo qui non può convertire la stringa in float.
‫Oh va bene.
‫Quindi, se ti ricordi di nuovo in alto, scorriamo di nuovo in alto attraverso la nostra bestia di un taccuino su
‫cui abbiamo lavorato.
‫Cosa abbiamo fatto prima di poter addestrare un machine learning, cosa abbiamo visto che un errore simile quando
‫abbiamo iniziato proprio qui, quando abbiamo iniziato a modellare.
‫Sarebbe fantastico se riuscissi a trovarlo.
‫Il nostro modello.
‫Non ha funzionato.
‫Eccoci qui.
‫OK, costruisci un modello, quindi tendi a cadere.
‫Impossibile convertire la stringa in volo, quindi gli stessi messaggi di errore, cosa c'è sotto?
‫Ora, il motivo per cui questo è successo è perché pensi?
‫Bene, è perché quando abbiamo importato il nostro set di dati originale, abbiamo fatto alcune manipolazioni, cosa abbiamo
‫fatto?
‫Ci siamo assicurati che i nostri dati fossero numerici e ci siamo assicurati che non ci fossero valori mancanti.
‫Quindi quello che abbiamo fatto ora è che abbiamo importato deftest.
‫Potrebbe avere alcuni valori mancanti, cosa che fa.
‫E potrebbe non essere tutto numerico.
‫E.
‫Lontano.
‫Abbiamo fatto un bel po' di elaborazione dei dati qui, e se controlliamo le colonne.
‫Quindi queste sono tutte le caratteristiche, ma se controlliamo X treno di colonne.
‫Beh, Danny Bracket è un.
‫Abbiamo notato che la colonna Lancs, un diverso.
‫Hmm.
‫Quindi ci sono centodue colonne in al X train, mentre nel test, cosa abbiamo qui?
‫L'abbiamo visto quassù prima, quando abbiamo fatto il punto testa.
‫Cinquantadue colonne, hmm.
‫Quindi, il motivo per cui il nostro modello di machine learning non è in grado di fare previsioni sul set di dati di test al momento è
‫perché non è nello stesso formato su cui è stato addestrato il modello o del set di dati su cui è stato addestrato il modello.
‫Quindi è quello che dovremo fare.
‫Va bene.
‫Eliminiamoli qui.
‫E quindi cosa farebbe come potremmo farlo in modo da poter procedere al pre-elaborazione dei dati.
‫In altre parole, ottenere il set di dati del test nello stesso formato dei nostri dati di allenamento dice meraviglioso.
‫Quindi come potremmo farlo?
‫Quindi quello che potremmo fare, penso, è creare una funzione per farlo.
‫Quindi, se dovessimo importare un nuovo set di dati, ad esempio un set di dati di test, abbiamo effettivamente apportato alcune manipolazioni ai
‫nostri dati di allenamento.
‫Potremmo prendere quelle funzioni che abbiamo fatto sul set di dati di addestramento e fare esattamente la
‫stessa cosa sul set di dati di test, in modo che siano entrambi uguali.
‫Questo ha senso.
‫Vediamolo prima.
‫Vediamo se possiamo farlo.
‫Quindi i dati preelaborati passeranno in un frame di dati.
‫Lasceremo una piccola nota qui.
‫Quindi esegue le trasformazioni su D. F. e restituisce trasformati per semplice diritto.
‫Vogliamo creare una funzione che accetta un frame di dati di qualche tipo.
‫Fa un sacco di manipolazioni su quel frame di dati e poi alla fine restituirà quel frame di
‫dati.
‫Quindi ora dovremo riempire tutte le trasformazioni che abbiamo fatto originariamente per fare la temperatura qui.
‫E quindi possiamo farlo salendo.
‫Potremmo dover fare alcune copie e Pasir, quindi ricorda, torna in cima.
‫Quindi questa è una piccola regola, un piccolo bocconcino, quello che fai al set di dati di allenamento,
‫dovrai farlo al set di dati di test.
‫Quindi questo è un bocconcino di apprendimento automatico lì.
‫OK, ecco la prima grande serie di manipolazioni che abbiamo fatto.
‫Potrebbero copiare questo meraviglioso.
‫E possiamo solo ricordare questa riga, quindi abbiamo aggiunto alcune informazioni qui basate
‫sul Colin Saldate diurno, e poi l'abbiamo rimosso.
‫Quindi sono i primi due passaggi che dobbiamo fare.
‫OK, scorriamo fino alla fine del nostro taccuino.
‫Sto scorrendo molto questo video perché abbiamo fatto tre cose importanti nel modo giusto.
‫Abbiamo aggiunto alcune informazioni qui al giorno o le abbiamo estratte.
‫Probabilmente è un'idea migliore.
‫Abbiamo estratto le informazioni dalla nostra colonna di data e ora e le abbiamo aggiunte al frame di dati in modo da poter andare D. F.
‫punto goccia.
‫E dopo averlo fatto, la colonna Saldate verrà eliminata.
‫E andremo access uguale a uno e in place uguale a vero, meraviglioso, e dobbiamo rimuovere la temperatura da tutti questi perché stiamo
‫usando solo D. F..
‫Quindi un piccolo trucco qui è spostare il cursore e tenere premuto il comando se sei su un Mac o forse è
‫il controllo se sei su Windows e possiamo semplicemente tornare alla base qui.
‫Meraviglioso, vero?
‫Perché non stiamo lavorando con do temp.
‫Stiamo lavorando con D. F..
‫Quindi qualsiasi frame di dati con nome arbitrario funzionerà con la nostra funzione.
‫Quindi la cosa successiva che abbiamo fatto è stata riempire le righe numeriche con Madian e anche noi.
‫Pieno, categorico.
‫Dati mancanti e trasformati in numeri.
‫A loro volta, categorie in numeri.
‫Quindi è quello che dobbiamo scorrere indietro e trovare.
‫OK, facciamolo prima.
‫Otterremo i nuovi miracoli mancanti mancanti.
‫Fortunatamente, abbiamo sistemato il nostro taccuino.
‫Abbiamo aggiunto queste intestazioni qui in modo da poter vedere cosa stavamo facendo.
‫Fa tutto parte dell'aiutarti, giusto?
‫Quindi riempi le righe numeriche alla mediana.
‫In realtà abbiamo bisogno di tutto questo codice qui.
‫Lo copieremo.
‫Bellissimo.
‫Quindi è qui che i commenti e le diverse intestazioni nel tuo taccuino possono davvero aiutare il tuo futuro,
‫è quando vuoi rendere le cose funzionalizzate e ripulire le cose.
‫Quindi eccoci di nuovo, dobbiamo rimuovere la tenda DF, scendiamo al campo.
‫Non vogliamo quella temperatura.
‫Vogliamo solo D. F..
‫OK, bello, e dobbiamo ancora riempire i dati categorici mancanti e trasformare le categorie in numeri.
‫Ora, vediamo solo se riusciamo a ricordare come farlo piuttosto che dover scorrere di nuovo verso l'alto, perché abbiamo
‫fatto abbastanza scrolling, ad essere onesti.
‫Quindi possiamo farlo, se non lo ricordiamo, se non è un tipo numerico.
‫È così che l'abbiamo fatto digitare è contenuto di tipo numerico perché stiamo eseguendo un ciclo.
‫Siamo in questo stesso ciclo qui.
‫Contenuto che vogliamo andare D. F. manca l'etichetta più il carattere di sottolineatura.
‫Sì, uguale.
‫Quindi controllerà se è ora, se è ora che vogliamo aggiungere un'etichetta che
‫manca all'etichetta, che manca quel particolare punto dati e guidando il modo in cui aggiungiamo più uno al codice della categoria perché i panda e i codici
‫mancano di categorie come uno negativo .
‫Quindi è qui che possiamo andare.
‫D. F. etichetta PD categorico di Eagles.
‫Quindi trasformalo in un categorico per trasformare il contenuto di una particolare colonna in una categoria e quindi accedere al suo
‫codice, a. K. un. trasformandolo in un numero e poi in più uno.
‫Va bene, non è una cattiva funzione.
‫Quindi questo è ciò che accade in un flusso di lavoro di un notebook, giusto, è che qui potresti probabilmente
‫classificare la maggior parte di questo è piuttosto disordinato.
‫Ci siamo aiutati con diversi titoli e quant'altro e commenti.
‫Tuttavia, man mano che avanzi nel processo, inizierai a creare queste funzioni di supporto.
‫Quindi stai raccogliendo un sacco di passaggi diversi in una funzione in modo che sincronizzi davvero le cose
‫nel notebook.
‫E puoi semplicemente chiamare una funzione come questa, proprio come la nostra funzione dei punteggi dello spettacolo e fa un processo
‫che sarà lo stesso ogni volta piuttosto che dover scorrere il taccuino e trovare qualcosa in
‫una cella diversa.
‫Quindi ora possiamo premere shift, inserire quello o quello che è successo.
‫Previsto blocco mancante.
‫Non pensavo ne avessimo bisogno.
‫Oh, sì, è lì che ne abbiamo bisogno.
‫Avevamo bisogno di indiani qui.
‫Ci siamo, classico.
‫Questo è ciò che accade quando copiamo e incolliamo il codice, giusto?
‫La formattazione non è sempre perfetta, bellissima.
‫Quindi abbiamo una funzione qui che elaborerà una sorta di frame di dati.
‫Aggiungerà alcune informazioni basate sulla colonna Saldate.
‫Riempirà le righe numeriche con la mediana.
‫Trasformerà i dati categoriali mancanti in un valore zero e il resto dei dati
‫in un numero di codice categoria bello.
‫Quindi sta attraversando alcuni passaggi, ma questa è una funzione dell'ala destra.
‫Succederà ancora insieme?
‫E ora cosa potremmo fare qui?
‫In realtà, una buona domanda è: dove potrebbe interrompersi questa funzione?
‫Potrei lasciarti su questo per questo video per evitare che diventi troppo lungo.
‫Voglio che tu dia un'occhiata a questa grande funzione che abbiamo creato e pensi a se l'avessimo superata, il
‫nostro frame di dati di allenamento, come potrebbe funzionare?
‫E poi se abbiamo passato il nostro frame di dati di prova.
‫Destra.
‫Il test DF, che è quassù, l'abbiamo superato con questo frame di dati.
‫Come potrebbe rompersi?
‫Risponderemo al prossimo video.