‫Ben tornato.
‫Così abbiamo imparato che in qualità di ingegnere dei dati, raccogli i dati, li ingerisci e poi li memorizzi in un
‫data lake, spesso un cluster Hadoop.
‫Ora, questa idea di una perdita di dati può essere utilizzata anche con qualcosa come AYSO, S3 Object Storage.
‫Quindi questi sono i due più popolari.
‫E poi, una volta che sono nel tuo data lake, di solito puoi eseguire processi batch su questi dati per
‫ripulirli o modificarli o districarli in qualche modo.
‫Quindi Hadoop ci ha permesso di farlo con la produzione di massa, possiamo usare Apache Spark, puoi semplicemente scrivere
‫manualmente script su Amazon S3 o puoi anche fare i migliori lavori con database com come chiedi a tutti i database.
‫Ma questa idea di elaborazione del flusso sta diventando sempre più popolare.
‫Invece di elaborare i dati utilizzando solo processi batch, diciamo ogni ora o ogni giorno, ora c'è un movimento verso
‫questa idea di elaborazione del flusso in tempo reale.
‫Ciò significa che quando i dati vengono ricevuti, li elaboriamo subito invece di aspettare un po' finché non possiamo fare batch
‫alla volta.
‫Questo ci permette di avere reazioni più veloci ai dati.
‫Ora, questa idea di elaborazione del flusso è piuttosto complicata, ma uno degli strumenti principali che viene
‫utilizzato in questo momento per l'elaborazione del flusso è qualcosa chiamato Kafka.
‫Kafka, se guardiamo sul loro sito web, è una piattaforma di streaming distribuita.
‫Ci consente di leggere e scrivere flussi di dati come il sistema di messaggistica.
‫Ci consente di elaborare e ci consente anche di archiviare i dati.
‫Ma come puoi vedere cosa fa Kafka, ci permette di ricevere messaggi e trasmetterli in luoghi diversi.
‫Quindi il motivo per cui vedrai spesso è che utilizziamo Apache, Kafka per ricevere tutti questi messaggi, registri
‫e dati da tutte queste fonti, li raccogliamo in una posizione centrale e quindi Kafka può trasmetterli a posizioni
‫diverse.
‫Ad esempio, possiamo trasferire tutto ciò che Kafka riceve a un cluster Hadoop per archiviare quei dati.
‫E poi forse se vogliamo usare Apache Spark per elaborare quei dati in un data warehouse.
‫Ma ora, con l'idea dell'elaborazione in tempo reale, Kafka ci consente di trasferire le cose sul muro stesso, oppure possiamo usare
‫qualcosa come Spark Streaming o Flink, di cui abbiamo parlato, Apache Flink, che viene utilizzato
‫più per l'elaborazione del flusso o Apache Storm o anche Kinesis di Amazon, che in realtà può anche essere posizionato
‫come Kafka qui per gestire tutti questi messaggi da tutte queste posizioni.
‫Ora, alla fine della giornata, tutto questo potrebbe essere stato fonte di confusione.
‫Potresti essere sopraffatto da tutti questi strumenti disponibili.
‫Ma ricorda quello che ho detto all'inizio di questa sezione, un data engineer è qualcuno
‫con cui interagirai come data scientist.
‫Quindi è bene sapere cosa fanno, quali sono i loro ruoli, quali sono le loro responsabilità.
‫E lavorerai a stretto contatto con loro per avere i dati disponibili per eseguire analisi su di essi o creare modelli
‫di apprendimento automatico.
‫Ma spero che questo diagramma ora abbia un senso.
‫Un data engineer crea per te questo panorama in cui acquisisce i dati tramite le informazioni del negozio Kafka
‫utilizzando qualcosa come Hadoop o Amazon S3.
‫Elaborano quei dati usando qualcosa come Apache Spark o Kinesis.
‫E poi archiviano anche i dati in data warehouse, quindi strumenti come Redshift o Becherer possono essere utilizzati
‫dalle persone all'interno dell'azienda per imparare qualcosa di utile dai dati.
‫Costruiscono la struttura per farti prosperare.
‫Quindi sii gentile con loro.
‫E se sei mai interessato a una di queste tecnologie, stanno cambiando molto velocemente.
‫Ma meritano sicuramente un'occhiata e non sono così intimidatori da imparare come potresti pensare.
‫Vedrò nel prossimo.
‫Addio.