‫OK, nel video precedente abbiamo capito che un ingegnere dei dati crea essenzialmente questa pipeline di dati per
‫noi, affinché persone come gli scienziati dei dati abbiano dati disponibili con cui lavorare.
‫Ma voglio usare un esempio diverso.
‫Facciamo finta che Keiko Corp abbia bisogno e che il bisogno sia di acqua, i dipendenti hanno bisogno di acqua.
‫Per lavorare sodo, giusto?
‫Quindi pensiamo a questo come a un problema che un ingegnere dei dati risolve.
‫Adesso abbi pazienza con me.
‫Parleremo di acqua per qualche minuto, ma prometto che si tratta di dati.
‫Vedete, la prima cosa per noi per ottenere l'acqua è il tasso di pioggia.
‫Abbiamo bisogno di pioggia.
‫E questo è simile alle fonti di dati che avevamo.
‫Cioè i siti web, i telefoni cellulari, le fotocamere, le auto, i droni.
‫Tutti questi stanno raccogliendo dati.
‫Ecco cosa sono le gocce di pioggia.
‫Quindi, per poter portare l'acqua ai nostri dipendenti, dobbiamo prendere l'acqua da qualche parte.
‫E quell'acqua viene dalla pioggia.
‫Successivamente, quell'acqua viene raccolta in due diversi corsi d'acqua e fiumi da tutto il luogo, proprio da tutto il mondo, proprio come
‫i dati provenienti da tutti i luoghi diversi, questi flussi d'acqua iniziano a formarsi.
‫E cosa succede dopo?
‫Ebbene, questi corsi d'acqua si trasformano in laghi.
‫Tutti sfociano in una specie di lago.
‫E quel lago sembra stare fermo.
‫Ma ancora una volta, noi Kako Korp, vogliamo solo acqua dai dipendenti.
‫Beh, ovviamente abbiamo una diga su un lago e quella diga su un lago o un sistema per usare quel lago.
‫Bene, trasportiamo quell'acqua in qualcosa come un'area sanitaria di filtrazione in modo che possiamo pulire l'acqua, disinfettarla in modo
‫che sia sicura per le persone da bere.
‫Quindi elaboriamo quell'acqua che è stata raccolta.
‫E infine, dopo tutto ciò, creiamo tutti gli impianti idraulici e i tubi per fornire l'acqua alla
‫Kako Corp..
‫È così che soddisfiamo le esigenze di Chaco Corp. per fornire acqua ai propri dipendenti, ed è così che
‫funzionano i dati e questo è ciò che un ingegnere dei dati ha costruito, un ingegnere dei dati inizia con ciò
‫che chiamiamo acquisizione di dati che sta acquisendo dati da varie fonti.
‫E acquisiamo tutte queste diverse fonti di dati e le ingeriamo.
‫In quello che chiamiamo un data lake, un data lake è una raccolta di tutti questi dati in un'unica posizione.
‫Da lì potremmo semplicemente lasciare il lago così com'è.
‫Ma c'è un problema.
‫Non vogliamo che il lago trabocchi si prosciughi.
‫Dobbiamo gestire questo lago in qualche modo.
‫Non vogliamo inondare il villaggio.
‫Abbiamo bisogno di dighe.
‫Abbiamo bisogno di tubi per le case.
‫Abbiamo bisogno di filtrare e pulire l'acqua e abbiamo bisogno di tubazioni alle case.
‫Quindi, dopo aver ingerito questi dati da varie fonti, li raccogliamo in un data lake.
‫Quindi eseguiamo qualcosa chiamato trasformazione dei dati che converte i dati da un formato a un altro, di
‫solito in qualcosa che chiamiamo data warehouse.
‫Un data warehouse è un luogo in cui vengono archiviati dati accessibili utili per l'azienda.
‫Cioè, sebbene il lago raccolga così tanta acqua, così tanti dati che erano un po' dappertutto.
‫Un data engineer esamina questi dati e forma o utilizza le parti dei dati utili e li inserisce in
‫un data warehouse in modo che altre parti dell'azienda possano utilizzarli nuovamente.
‫Un buon modo per pensarci è che un data lake è un pool di dati grezzi.
‫Lo scopo di cui ancora non sappiamo cosa fare in un data warehouse è una posizione per dati strutturati e
‫filtrati che sono stati elaborati e hanno uno scopo specifico.
‫Cioè, qui abbiamo dati utili per l'azienda.
‫Ciò significa che i data lake sono generalmente meno organizzati e hanno una minore filtrazione dei dati rispetto a qualcosa come un
‫data warehouse.
‫Ora, perché le aziende dovrebbero volerlo fare?
‫Bene, per esempio, è molto più facile analizzare i dati quando sono organizzati.
‫Bene, potremmo anche avere dati qui di cui non abbiamo davvero bisogno.
‫Risparmiamo anche sullo spazio di archiviazione.
‫Giusto, perché non dobbiamo archiviare tutti questi dati e archiviare solo i dati strutturati che sono utili solo
‫per noi.
‫Risparmiamo anche un po' di soldi.
‫Quindi, per rivedere un ingegnere dei dati costruisce semplicemente questa pipeline di prendere la creazione e l'acquisizione dei
‫dati utilizzando pratiche di ingegneria dei dati per costruire questa pipeline in modo che i dati possano ora essere analizzati da scienziati e
‫analisti di dati.
‫Ma abbiamo ancora un po' di più da fare.
‫Allora ci vediamo nel prossimo video.