‫Ora abbiamo i nostri dati in X, train Y, train X validation, Y validation, ma in un video precedente abbiamo valutato il
‫nostro modello utilizzando questa funzione di punteggio.
‫A cosa serve la funzione scuola, usa il coefficiente di determinazione, ma se ricordiamo di nuovo
‫fuori, la parte superiore uscirà dalla parte superiore solo per verificarla, perché l'abbiamo annotata.
‫Sappiamo che la metrica di valutazione per questa competizione, quindi per questo progetto su cui
‫stiamo lavorando è uno SLA o, in altre parole, l'errore quadratico medio di log.
‫Non è lo stesso del coefficiente di determinazione.
‫E se ti stai chiedendo da dove abbiamo preso questa funzione di valutazione, è dalla valutazione della panoramica della
‫competizione delle mucche, che abbiamo visto proprio all'inizio.
‫Ma lo controlleremo di nuovo.
‫Valutazione.
‫Quindi la metrica di valutazione per questa competizione è l'AR e certamente possiamo cercarla su Google per vedere di
‫cosa si tratta.
‫Andiamo qui.
‫Radice media al quadrato Laurita.
‫Qual è la differenza tra come si interpreta l'errore quadratico medio della radice?
‫OK, quindi abbiamo alcune opzioni lì.
‫Quindi, se vuoi leggere oltre, questo è qualcosa che puoi cercare, ma lo
‫lavoreremo nel codice.
‫Scendiamo.
‫Forse ti starai chiedendo perché non abbiamo visto o davvero menzionato l'errore di registro quadratico medio radice.
‫Questo è un po' un boccone in sé.
‫Quindi quello che potremmo fare, dovremo creare la nostra funzione di valutazione perché se torniamo
‫al nostro keynote.
‫Quindi le metriche di classificazione e regressione che lavorano sul problema della regressione qui, questa è una delle
‫diapositive, penso, dalla sezione dei prestiti.
‫Abbiamo un errore assoluto principale.
‫Voglio dire, errore quadratico, MSI, OK, errore quadratico medio radice.
‫Ma questo è mancante del componente di registro.
‫Vediamo se riusciamo a farlo entrare tramite Escalon.
‫Quindi torneremo qui.
‫Quello che potremmo fare è costruire una nostra funzione di costruzione e valutazione.
‫Ora questo è qualcosa che potresti dover fare a seconda del progetto su cui stai lavorando.
‫Destra.
‫Quindi, se stiamo lavorando su questa competizione via cavo e dicono che per qualche motivo dobbiamo usare questa
‫metrica, chi lo sa?
‫Le persone che hanno pubblicato questa sfida potrebbero richiederlo.
‫Potrebbero aver deciso che questa è la loro migliore metrica di valutazione.
‫A seconda del progetto su cui stai lavorando, potresti dover trovare una funzione di valutazione che si adatti
‫meglio al tuo caso d'uso.
‫Quindi quello che faremo è creare una funzione di valutazione perché eseguiremo più esperimenti, vogliamo
‫alimentare più modelli di apprendimento automatico e valutarli.
‫Ecco perché lo costruiremo in una funzione in modo da poter utilizzare questa funzionalità più volte senza doverci ripetere,
‫perché siamo un po' pigri quando si tratta di scrivere tutto questo codice, sai?
‫Voglio solo sperimentare sempre di più e creare una funzione di valutazione.
‫La competizione usa immensamente radice, media, quadrato Loewer.
‫Quindi possiamo andare da Skyline, Dot, Matrix, te lo posso dire.
‫Così imparo.
‫Potresti andare alle metriche di valutazione Escalon, ma possiamo passare da qui, possiamo dare un'occhiata ad alcune metriche
‫di valutazione, errore di log quadratico medio.
‫OK, quindi potremmo usarlo.
‫Voglio dire, errore di registro al quadrato, ma dovremo aggiungere il nostro piccolo pezzo su di esso, perché questo non è la media
‫della radice al quadrato più a lungo.
‫Quindi quello che potremmo fare è che potrebbero prendere questo.
‫Possiamo importarlo.
‫Facciamolo.
‫Quindi, dalle metriche apprese da České, importa l'errore di registro quadrato principale e per l'inferno significherebbe errore assoluto.
‫Fai previsioni su tutti gli esempi e poi sottrai le tue previsioni dai tuoi valori effettivi e prendi
‫la media.
‫Questo è un errore assoluto.
‫Quindi quanto è in media la tua previsione dal prezzo di vendita effettivo?
‫Ma l'errore di registro al quadrato principale ha più a che fare con il rapporto e molto spesso con problemi di regressione.
‫Destra.
‫Se ti piace.
‫Dieci dollari di sconto su qualcosa del genere.
‫Quindi, se avessimo uno sconto di dieci dollari, questa previsione del prezzo di vendita non avrebbe importanza.
‫Ma se avessimo uno sconto del 10%, sarebbe piuttosto negativo.
‫Destra?
‫Non vuoi essere più del 10 percento di qualunque valore inserisci qualcosa.
‫Potrebbe essere il 20 percento, potrebbe essere il 30 percento.
‫Ma questa è una specie di differenza tra questi due, giusto?
‫Ogni volta che vedi assoluto.
‫Pensalo come uno sconto di dieci dollari e ogni volta che vedi come un quadrato o una sorta di registro
‫o pensalo come il rapporto.
‫Quindi con uno sconto del 10%, ecco quando questi due puoi davvero confrontarli tra loro.
‫Ma ne abbiamo un po' di più nella diapositiva.
‫Potresti voler fare uno screenshot di quello.
‫È abbastanza buono, ma sarà tutto nella diapositiva.
‫Puoi controllare più tardi.
‫Vogliamo creare una funzione di valutazione.
‫Abbiamo l'errore di registro principale al quadrato.
‫Quindi, come lo trasformeremmo in log quadratico medio della radice.
‫Quindi proviamolo.
‫Quindi forse andiamo qui.
‫Non voglio digitare root significa che è troppo r.
‫S radice di Emslie significa.
‫Squared Laguerre, bellissimo, e questo può solo prendere y test e perché parade prenderà gli
‫stessi input delle mie funzioni di apprendimento Saikat per vedere come questo diventa vero, perché leggere potrebbe essere y vero.
‫Potrebbe essere un test.
‫Non importa perché testare.
‫E poi andiamo qui, lasceremo un po' di cure per noi stessi.
‫Calcola l'errore
‫di registro quadratico medio della radice.
‫Tra le previsioni e le etichette vere vere, meraviglioso, e poi torniamo a myco, il che è bello e semplice, possiamo
‫semplicemente usare ogni radice quadrata dell'errore di log quadratico medio.
‫Dovrà passare questo ai valori di prova e alle previsioni per significare logorrea al quadrato.
‫In realtà è abbastanza facile.
‫Quello che stiamo facendo qui, stiamo prendendo la radice quadrata.
‫Così.
‫Destra.
‫Quindi il componente radice dell'errore di log quadratico principale, la logorrea del quadrato principale tra le previsioni e le etichette
‫vere.
‫Meraviglioso.
‫Quindi abbiamo creato la nostra funzione di valutazione che si allinea ai requisiti di Cagle, l'avvocato
‫quadratico medio.
‫OK, e probabilmente vorremmo controllare alcune altre cose come vogliamo creare una funzione di valutazione per controllare alcune cose allo stesso
‫tempo in modo da non dover continuare a chiamare qualcosa del genere.
‫Quindi creiamo una funzione per valutare il modello su alcuni livelli diversi.
‫Quindi, ancora una volta, la valutazione è importante tanto quanto la costruzione del modello reale.
‫Quindi ascolteremo il modello dei punteggi dello spettacolo, quindi lo passeremo.
‫Il nostro modello.
‫Faremo alcune previsioni sui dati di addestramento, alcuni modelli non prevedono.
‫Quindi valuteremo come si è comportato il nostro modello sul training X dei dati di addestramento e quindi valuteremo come si è comportato il
‫nostro modello sul modello di dati di convalida non previsto.
‫Lo passeremo x convalida qui se il nostro modello sta funzionando meglio sul set di dati di convalida che ci sta suggerendo
‫che il nostro modello è overfitting.
‫Quindi, tra l'addestramento e la convalida, in generale, poiché il nostro set di convalida ha solo 12000 esempi e non
‫stiamo addestrando il nostro modello su di esso, vorrai vedere metriche leggermente peggiori sul set di convalida,
‫invertendo il set di addestramento.
‫Quindi andremo a punteggio uguale.
‫Forse restituiremo un dizionario di qualche tipo.
‫Sì.
‫La formazione e loro intendo, errore assoluto.
‫Andremo a completare automaticamente Kitab significa errore assoluto.
‫Sì posso.
‫Perché allenarsi.
‫Quindi ricorda, stiamo solo confrontando il treno del perché.
‫Quindi questo è l'errore assoluto medio di formazione sulle etichette di formazione rispetto alle previsioni di formazione e
‫bello.
‫Andremo validi in questo.
‫Quindi, di nuovo, ti aspetteresti che questo valido potrebbe essere leggermente peggiore e l'allenamento sarà perché valido?
‫E questo sarà valproato.
‫E poi andremo ad addestrare e XLE per l'errore quadratico medio della radice.
‫E possiamo farlo usando la nostra piccola funzione fantasiosa che abbiamo appena creato qui.
‫È eccitante scrivere le nostre funzioni di valutazione, forse è una richiesta pull, potenziale per
‫psichedelico.
‫Mi chiedo perché non hanno l'errore di registro quadratico medio della radice.
‫Forse non è così popolare.
‫O forse puoi semplicemente crearlo da solo in questo modo.
‫È corretto?
‫Perché allenare i cervelli del treno.
‫sto parlando troppo.
‫Non parlare.
‫E il naumkin di Colgate.
‫Puoi fare ciò che vuoi.
‫Eccoci qui.
‫Qui FSLIC tranne non sottovaluta il tuo modello di apprendimento automatico.
‫Questa è l'unica cosa che non ti è permesso fare.
‫Tutti amano un buon modello, ma tutti amano ancora di più un modello di machine learning ben valutato.
‫E infine, per buona misura, dato che siamo qui, facciamo il punteggio predefinito e lo importiamo.
‫Probabilmente è un po' meglio provare a segnare.
‫Per questo motivo il completamento automatico della scheda non funziona mi sta dando alcuni problemi, quindi dobbiamo chiedere solo
‫un punteggio AA2.
‫Sì, fidati del tuo istinto, Daniel.
‫Avanti.
‫Sono a scuola.
‫Quindi è tutto quello che stiamo cambiando lì.
‫Piuttosto che ricalcolare qualcosa, sarà solo importante.
‫Ora, questa è una funzione abbastanza decente, non mentirà.
‫Si occupa di alcune cose e probabilmente è una ridondanza che potremmo sistemare.
‫Ma è vero.
‫Stiamo cercando di sperimentare il più velocemente possibile.
‫Potresti pensare che gli esperimenti vengano rallentati, ma con la tua pratica, senza dovermi ascoltare
‫mentre parlo e passare attraverso questo genere di cose, sfreccerai attraverso gli esperimenti.
‫Voi.
‫No, è sbagliato, vero?
‫Questo deve essere Valpreda, è bellissimo, e restituiremo i punteggi.
‫OK, quindi cosa abbiamo fatto qui?
‫Quindi abbiamo creato una funzione di valutazione in linea con quanto richiesto per questo particolare progetto.
‫E nel nostro caso, è radice media al quadrato.
‫Noguera Diventerò rauco dicendo che se continuo a farlo e poi abbiamo creato un'altra piccola funzione
‫di supporto che farà un sacco di altre metriche, farà alcune previsioni usando un
‫modello a cui lo passiamo.
‫E poi confronterà quelle previsioni su un intero gruppo di diversi
‫campi di gioco sull'errore assoluto principale, sulla radice dell'errore quadratico medio quadrato e sul coefficiente di determinazione.
‫Quindi questo è davvero abbastanza per questo video che crea le nostre funzioni di valutazione personalizzate.
‫Ora, di nuovo, questo è qualcosa che potresti voler fare per i tuoi progetti, perché stiamo eseguendo il maggior
‫numero possibile di esperimenti.
‫È utile disporre di funzioni di valutazione come questa in modo da poter fare rapidamente un sacco
‫di cose diverse piuttosto che doverle riscrivere ogni volta che proviamo un nuovo modello.
‫Ma.
‫Spostiamo un intermezzo, le nostre funzioni sono istanziate e proveremo a testarle nel prossimo
‫video.