‫Bene, abbiamo completato tutte le metriche richieste.
‫Hmm, saresti in grado di mettere insieme un rapporto abbastanza buono contenente una matrice di confusione,
‫una manciata di metriche convalidate in modo incrociato come il richiamo di precisione e la F1, oltre a quali caratteristiche contribuiscono
‫maggiormente alla decisione del modello?
‫Forse ti starai chiedendo, perché non abbiamo una voce per la sperimentazione?
‫Quindi, se torniamo qui, perché non li abbiamo esaminati?
‫Destra.
‫Bene, il segreto qui è che tutta questa cosa, specialmente dalla sezione modelli in poi, è stata
‫la sperimentazione.
‫Abbiamo provato cose diverse.
‫Abbiamo testato diverse metodologie.
‫Abbiamo esplorato i nostri dati.
‫Abbiamo sperimentato tutto il tempo.
‫Quindi, in realtà, abbiamo realizzato questo quadro.
‫Abbiamo definito il nostro problema.
‫Abbiamo esaminato i dati.
‫Abbiamo definito una metrica di valutazione.
‫Abbiamo verificato le caratteristiche, abbiamo fatto un po' di modellazione.
‫E la verità è che potremmo continuare con il nostro modello, cercando di migliorarlo o cercando di migliorare il nostro
‫modello di regressione logistica che abbiamo lasciato o cercando di trovare un altro modello di classificazione che
‫funzioni meglio.
‫Ma ovviamente, le cose non possono andare avanti per sempre in pratica.
‫Nel mondo degli affari, questo è un po' quello che chiameremmo un proof of concept, giusto.
‫Andremmo a provare alcune cose.
‫Guarderemmo dati diversi una volta che lo abbiamo fatto in una sequenza temporale separata, in una sequenza temporale definita, come forse
‫l'intero processo ha richiesto due settimane o qualcosa del genere.
‫In realtà l'abbiamo fatto in circa due ore qui.
‫Quindi, davvero, non preoccuparti, se non stai capendo le cose, questi processi richiedono un po' di
‫tempo.
‫Quindi abbiamo raggiunto questo punto in cui probabilmente rivisiteremmo la nostra metrica di valutazione per decidere se andare
‫avanti o se abbiamo abbastanza tempo?
‫Potremmo parlare con il cliente.
‫Potremmo parlare con l'azienda con cui collaboriamo.
‫Potremmo parlare con alcuni dei nostri colleghi e dire, ehi, abbiamo provato alcune cose, ma non abbiamo
‫ancora raggiunto la nostra metrica di valutazione di almeno il 95% di accuratezza nel prevedere se un paziente ha o meno
‫malattie cardiache durante la prova di concetto.
‫Questo è il punto in cui si arriva nell'apprendimento automatico, giusto, mentre si lavora attraverso questi processi.
‫E non c'è davvero fine.
‫Ed è questo che lo rende così difficile.
‫Beh, nel nostro caso, non siamo arrivati al 95 percento, ma ci siamo andati abbastanza vicini.
‫Siamo arrivati al 90% circa di accuratezza con il nostro modello di regressione logistica, ovunque sia, da qualche
‫parte quassù, appena laggiù.
‫Quindi è precisione.
‫Questo era circa l'88% quando abbiamo incrociato la convalida.
‫Quindi cosa potresti provare dopo?
‫Potresti pensare, perché non arrivi a questo punto?
‫Tu dici, oh, beh, non ho soddisfatto la metrica di valutazione.
‫Tutto quello che abbiamo fatto è sprecato?
‫No.
‫Bene, quello che abbiamo scoperto in questo caso, abbiamo mostrato cosa non funziona, almeno con i dati
‫attuali che abbiamo, almeno con i modelli che abbiamo, abbiamo capito cosa non funziona,
‫che è prezioso quanto capire cosa fa, perché ora sappiamo, OK, possiamo provare qualcosa di nuovo.
‫Va bene.
‫Bene, questo è davvero il punto in cui entra in gioco il sesto passo.
‫Quindi è qui che inizieresti a fare la tua ricerca, avviando la ricerca su
‫diversi modi di fare diversi problemi di classificazione, costruendo modelli migliorati, diversi modi di guardare i
‫dati.
‫Quello che potresti chiederti è.
‫Qui, se non hai ancora raggiunto la tua metrica di valutazione.
‫Chiedilo a te stesso.
‫Alcune cose come potresti raccogliere più dati perché ricorda, i modelli di apprendimento automatico amano imparare tutti più
‫dati.
‫Quindi potresti raccogliere più campioni?
‫In questo momento abbiamo circa trecentotre campioni di pazienti.
‫Potresti raddoppiarlo?
‫Potenzialmente.
‫Forse devi parlare con un esperto in materia.
‫Forse devi parlare con un dottore o o tornare dal cliente con cui stai
‫lavorando o qualunque progetto tu stia facendo e andare, ehi, c'è un modo per ottenere più dati per arricchire questo set di dati
‫o potresti provare un modello migliore potresti chiedere?
‫Bene, abbiamo usato un modello di regressione logistica e ho guardato qui, dov'è la mappa della linea del socket?
‫Non ce ne sono molti che potremmo riprovare, hmm, è qui che potresti dover iniziare a fare qualche
‫ricerca, potresti dover esaminare qualcosa come gli uccellini.
‫Vogliamo una copertura per ora.
‫Pianterò solo il seme.
‫Lo scriverò qui come cibo per gatti.
‫Questo è un curriculum misto per te, come il potenziamento del gatto o il potenziamento.
‫Queste sono cose che potresti voler cercare, giusto.
‫Quindi potresti voler cercare queste due cose.
‫Cosa altro c'è?
‫Bene, OK, se abbiamo provato un modello di regressione logistica e potessimo, potremmo migliorarlo.
‫Quindi potremmo migliorare i modelli attuali?
‫Tra parentesi oltre ciò che abbiamo fatto finora, quindi forse abbiamo fatto un po' di ottimizzazione dei parametri
‫iper usando la ricerca della griglia c. v o TV con randomizzazione, quindi forse vorremmo provare un po' di
‫più, vedere se riusciamo a spremere un paio di punti percentuali di precisione.
‫Di nuovo, potresti pensare, beh, questo non sembra molto strutturato e la verità è che non
‫si tratta solo di ridurre al minimo il tempo tra gli esperimenti e l'apprendimento automatico.
‫Quindi diciamo che abbiamo soddisfatto la nostra metrica di valutazione.
‫Se lo facessimo, se il nostro modello è abbastanza buono, come potresti esportarlo e condividerlo con gli altri?
‫Quindi forse andiamo qui.
‫Così imparo come esportare un modello.
‫E poi andiamo qui, persistenza del modello, quindi diciamo che vogliamo inviare un modello a un collega oa un cliente o
‫qualcosa del genere, potresti voler cercare qui come inviare un modello.
‫Lo abbiamo fatto nella sezione dei cicloni.
‫Quindi, se andiamo qui, se il tuo modello è abbastanza buono.
‫Hai raggiunto la tua metrica di valutazione.
‫Come lo esporteresti?
‫E condividerlo con gli altri, non così.
‫Il vero punto da asporto qui, la chiave da ricordare è che abbiamo esaminato l'intero framework ora che abbiamo alcuni dati,
‫abbiamo definito un problema, abbiamo esplorato quei dati.
‫Abbiamo definito in una metrica di valutazione.
‫Abbiamo esaminato le caratteristiche dei nostri dati.
‫Abbiamo fatto un sacco di cose sui modelli di apprendimento automatico.
‫E davvero tutto questo processo è stato un esperimento.
‫E abbiamo usato gli strumenti che abbiamo imparato finora, tutti all'interno di un bellissimo taccuino Jupiter.
‫E ora la conclusione finale è che non c'è una vera risposta a cosa potresti fare dopo.
‫Sta a te fare domande e iniziare a capire queste cose, iniziare a cercare, non aver
‫paura di sbagliare.
‫Questa è la cosa più grande che ti tratterrà nell'apprendimento automatico se
‫non fai domande, se non affronti cose del genere, o se non raggiungi altre persone,
‫se non chiedi la comunità, se non guardi lo stack overflow, se non trovi
‫esempi, non migliorerai nel finire questo progetto.
‫Quello che potresti probabilmente fare come estensione è porre queste domande qui.
‫Forse non possiamo raccogliere più dati perché il set di dati è fisso, ma potremmo potenzialmente provare un modello
‫migliore come il servizio diretto CAPTUS.
‫Forse è qualcosa che potresti provare e potresti anche provare a fare qualche ricerca su come.
‫Potremmo migliorare i modelli attuali utilizzando l'ottimizzazione dei parametri iper, ma congratulazioni, hai appena finito se segui,
‫sei appena andato alla fine su un completo problema di classificazione dell'apprendimento automatico.
‫Non è fantastico?
‫Prevedere le malattie cardiache, utilizzando l'apprendimento automatico?
‫Spero che tu stia iniziando a vedere.
‫In realtà, questo è probabilmente il punto più importante piuttosto che passare a quello che verrà dopo.
‫Se sei andato avanti con questo e ti stai ancora chiedendo, stai andando, santo cielo, Daniel,
‫c'è così tanto qui.
‫Non so come potrei ricordare tutto questo.
‫Non preoccuparti, perché sono ancora in quella posizione.
‫Destra.
‫Anche lavorando come ingegnere di machine learning, continuo a ripeterlo ogni volta, tipo, oh, cosa
‫posso fare?
‫Finisco sempre in ricerche nella tana del coniglio come questa e poi lo riporto su un quaderno.
‫E fidati di me, la prima volta che costruisci un notebook come questo per un problema di apprendimento automatico, probabilmente
‫non assomiglierà a quello che abbiamo.
‫Destra.
‫Il nostro è abbastanza carino, giusto?
‫Quindi è abbastanza strutturato.
‫Passa attraverso il quadro passo dopo passo.
‫La tua prima volta probabilmente ha cose dappertutto.
‫E questo va bene.
‫Va bene perché significa che stai provando cose nuove.
‫Cosa puoi fare da qui?
‫Dai un'occhiata a questo codice.
‫Sarà tutto nella sezione delle risorse o in un allegato da qualche parte a cui puoi accedere.
‫Vai oltre.
‫Se riesci a trovare un altro set di dati di classificazione da qualche parte su Internet, puoi trovarli abbastanza
‫facilmente.
‫Quindi classificare il set di dati di apprendimento automatico, puoi trovarlo, trovare un sacco di set di dati utilizzando il repository di
‫apprendimento automatico.
‫Questo è ciò che abbiamo trovato all'inizio dei dati sulle malattie cardiache.
‫Questo è quello che abbiamo trovato, forse potresti trovarne di più.
‫Ora puoi trovare qualcuno, Kagle o Kadee Nugget's.
‫C'è un sacco di risorse diverse.
‫Quindi forse potresti provare a trovare un altro set di dati e poi tornare indietro attraverso questa pipeline che abbiamo creato proprio ora
‫per un problema di classificazione con un set di dati diverso.
‫E potresti avere un fine per finire invece del tuo set di dati qui, problema di classificazione.
‫Ma questo concluderà la classificazione end-to-end del progetto.
‫Se hai domande, sentiti libero di lasciarle.
‫Altrimenti, ci vediamo nella prossima serie di video.