‫Concludiamo questa panoramica di alto livello di ciò che fa un data engineer descrivendo le tre attività principali che
‫svolge.
‫Uno è che costruiscono quello che chiamiamo un gasdotto et al.
‫O una pipeline di carico di estrazione e trasformazione.
‫Quindi, a differenza dell'acquisizione dei dati, che significa semplicemente spostare i dati da un luogo a un altro e la sua pipeline
‫è l'idea che un ingegnere dei dati estrae i dati che sono stati generati da tutti questi sistemi.
‫Estraggono quei dati e poi quando estraggono quei dati, si trasformano.
‫I dati in una forma utile che è in una forma che può essere caricata in un data warehouse, quindi estraggono i
‫dati, trasformano i dati e li caricano in qualcosa come un data warehouse in modo che i dati possano
‫essere utilizzati dal resto della compagnia.
‫E usano linguaggi di programmazione come Python, Go Skalla e Java per eseguire questi lavori ETEL o
‫estrarre, trasformare il carico.
‫Quindi questa è la prima domanda, qual è la seconda?
‫Il secondo è costruire strumenti di analisi.
‫Vedi per noi per capire come funzionano i nostri sistemi aziendali, un ingegnere dei dati deve assicurarsi che quando una
‫qualsiasi parte del sistema si rompe, siamo avvisati.
‫Quindi un ingegnere dei dati consente a scienziati dei dati, analisti di dati, persone di business intelligence di
‫utilizzare strumenti per analizzare i dati, ma anche per assicurarsi che il sistema che hanno messo in atto funzioni correttamente.
‫Infine, il loro terzo compito principale è ovviamente quello di mantenere il data warehouse e i data lake che assicurano
‫che tutto sia accessibile per l'utilizzo da parte di altre parti delle aziende.
‫Quindi ora che abbiamo una panoramica di alto livello di ciò che fa un ingegnere dei dati.
‫Voglio parlare di alcuni degli strumenti di cui hai sicuramente sentito parlare nel
‫settore, cose come Hadoop, Kafka, Apache, Spark, tutti questi termini che sono davvero difficili da capire.
‫Cercherò di darti una panoramica di questo panorama in modo che la prossima volta che qualcuno ti chiederà di
‫odiare, dovremmo usare Hadoop?
‫Ehi, a cosa serve Hadoop?
‫Cosa ci serve?
‫Kafka, sarai in grado di rispondere a questo.
‫E dopo questo corso, puoi andare da solo e imparare a usare questi strumenti se mai dovessero imbattersi
‫nel tuo lavoro.
‫Ora, questo panorama sta cambiando rapidamente.
‫Ci sono nuovi strumenti che spuntano a sinistra, a destra e al centro.
‫Quindi il mio consiglio è che quello che ti mostrerò nei prossimi due
‫video non lo prendi come un must assoluto per tutti i data engineer, invece sappi che esistono, vai a leggere un
‫po' della loro documentazione, alcune delle informazioni online, ma imparale o usale solo quando se ne presenta la
‫necessità perché vengono costantemente aggiornate.
‫E il mondo dell'ingegneria dei dati è molto veloce in questo momento.
‫Ma detto questo, non abbiamo dubbi sui dati nei prossimi due video.