‫OK, OK, quindi cosa fa effettivamente un ingegnere dei dati?
‫Cominciamo con tre paroloni che dobbiamo capire prima di capire veramente cosa fa un
‫data engineer.
‫Sì, lo so che continuo a girare intorno all'ingegnere dei dati e continuo a farti eccitare, ma ti prometto che ci
‫stiamo avvicinando molto, molto.
‫Abbiamo solo bisogno di discutere di queste tre guerre di cui potresti aver sentito parlare o meno.
‫Uno è il data mining e il data mining significa semplicemente pre-elaborazione ed estrazione di alcune conoscenze dai dati.
‫Quindi usiamo una sorta di dati per estrarre conoscenza da questo è il data mining.
‫Grandi dati.
‫Bene, significa che abbiamo molti dati, molte variabili, così tanti dati, infatti, che
‫non puoi eseguire sul tuo laptop e ci sono troppi dati da contenere per il tuo laptop o computer.
‫Di solito quando parliamo di big data, sono dati così grandi che è necessario eseguirli su cloud computing
‫o su più computer come un W. S. Azure e Google cloud, perché hanno molti computer e molto spazio
‫di archiviazione per archiviare questi dati.
‫Ecco cosa hanno i Big Data.
‫I big data sono dati che di solito non puoi avere su un solo computer.
‫Questo di solito accade perché, beh, i set di dati diventano così grandi che ora abbiamo petabyte e petabyte di dati.
‫Quindi avere dati in un database come la mia scuola o PostgreSQL o qualsiasi tipo di database diventa davvero difficile quando
‫quel database è solo una singola macchina.
‫Ora, sono state inventate nuove tecnologie per risolvere questo problema dei big data come Hadoop e NQ, di cui
‫parleremo.
‫Ora, una pipeline di dati è essenzialmente una pipeline che un ingegnere dei dati costruisce per sfruttare essenzialmente il fatto che abbiamo
‫una grande quantità di dati, dobbiamo estrarre informazioni da questi dati utilizzando il data mining.
‫Quindi abbiamo bisogno di portare o costruire una pipeline che ci permetta di fluire da quella grande quantità di dati
‫sconosciuta a una pipeline che estrae i dati in una forma più utile.
‫Quindi un ingegnere dei dati essenzialmente crea una pipeline di dati in cui tutte le informazioni che
‫i diversi dispositivi come dispositivi Iot, applicazioni mobili, app Web, fotocamere, automobili e praticamente tutto ciò
‫che raccoglie dati e memorizza informazioni o registra i dati nei server o nel cloud
‫, un ingegnere dei dati essenzialmente accumula tutte queste informazioni in database ben confezionati e memorizza i motori in
‫modo che diverse parti dell'azienda possano creare visualizzazioni.
‫Possono monitorare le prestazioni del loro prodotto.
‫Possono ottenere approfondimenti aziendali e prendere decisioni aziendali da questi dati e persino utilizzare questi dati sulle loro
‫app.
‫Ad esempio, per i profili utente prima che uno scienziato di dati o un esperto di machine learning o anche
‫un business intelligence o un analista di dati venga assunto per una grande azienda.
‫La cosa che devono fare prima che tutto ciò possa essere fatto è assumere un data engineer.
‫Costruiscono la pipeline che ci consente di lavorare come data scientist.
‫Ricorda questo diagramma e come ci siamo concentrati su questa parte.
‫Bene, un data engineer ci permette di fare questa parte di raccolta dati.
‫Portano tutte queste informazioni, le organizzano in modo che possiamo fare la nostra modellazione dei dati.
‫Ci aiutano davvero con questa parte di raccolta dati di cui di solito, come ingegnere di apprendimento automatico o
‫scienziato dei dati, non devi preoccuparti troppo.
‫Ma sai cosa?
‫La mia dimostrazione preferita di cosa sia un data engineer è nel prossimo video.
‫Spero che tu sia eccitato perché le cose inizieranno ad avere sempre più senso.
‫Ci vediamo su quello.
‫Ciao ciao.