‫Ben tornato.
‫Quindi abbiamo appena esaminato l'intero flusso di come i dati vengono utilizzati da un'azienda.
‫Ma ci sono ancora alcune cose di cui voglio parlare, perché in questo momento abbiamo appena parlato
‫dell'acqua e come si applica davvero?
‫Che tipo di strumenti usano effettivamente i data engineer?
‫Bene, potresti aver sentito parlare di qualcosa del genere.
‫Kafka, e arriveremo a Kafka più tardi, ma qualcosa come raccogliere questi flussi di dati e inserirli in un
‫data lake.
‫Potrebbe essere qualcosa che Kafka o Apache Kafka potrebbero fare per Data Lakes, ad esempio, questi sono
‫semplicemente programmi che le aziende possono utilizzare.
‫Ad esempio, potresti aver sentito parlare di Hadoop o Amazon S3 o di Azure Datalink.
‫Questi sono programmi che sono stati creati da ingegneri per contenere grandi quantità di dati come un quotidiano.
‫E poi per un data warehouse, abbiamo strumenti come Google Bakery, Amazon Redshift, persino Amazon,
‫Athena, questi sono data warehouse che consentono agli ingegneri di effettuare query o analizzare questi dati strutturati.
‫Ora, so cosa stai pensando, chi fa cosa in tutto questo sistema?
‫Abbiamo appreso che l'ingegnere dei dati crea l'intero sistema per noi.
‫Utilizzano strumenti e programmi diversi per acquisire i dati e poi inserirli in un data lake o in un data warehouse.
‫Quindi, in qualità di data scientist ed esperto di machine learning, quali dati utilizzi?
‫Metti in pausa il video e pensaci.
‫Pronto per la risposta?
‫Beh, la maggior parte delle volte lavoreresti con un data lake.
‫Perché ricorda, se stai facendo apprendimento automatico, più dati hai, meglio è.
‫Destra.
‫E con l'apprendimento automatico, puoi utilizzare dati strutturati o non strutturati.
‫Quindi puoi entrare in un data lake e prendere effettivamente una serie di dati da utilizzare per i tuoi modelli, indipendentemente dal fatto che siano
‫in moduli CSV o in qualsiasi altro modulo.
‫E di solito i data warehouse vengono utilizzati da esseri o persone di business intelligence o analisti aziendali o
‫analisti di dati per effettuare visualizzazioni o analizzare i dati, perché il data warehouse di solito ha dati più strutturati
‫che sono stati ripuliti rispetto a quando era un data lake.
‫È molto più facile capire e utilizzare i dati per le informazioni.
‫Ora, in qualità di data scientist, puoi utilizzare i dati di un data warehouse.
‫E questa non è solo una regola.
‫Di solito usi tutti i dati utilizzabili per te.
‫Ma questo è un buon modo per pensare alle cose che uno scienziato dei dati usa quanti più dati
‫possibile, quanti più dati utili possibile, mentre qualcuno come una persona di business intelligence o un analista
‫di dati ha già i dati puliti, elaborati da un ingegnere dei dati e ha utilizzato qualcosa come un data warehouse per
‫analizzare i dati.
‫E la grande query di Google è esattamente questa e consente a qualcuno con poca esperienza
‫di ingegneria o esperienza di programmazione di analizzare questi dati in un data warehouse.
‫Un altro modo di pensarci è così.
‫Di solito un ingegnere del software, uno sviluppatore di software, uno sviluppatore di app, uno sviluppatore di dispositivi mobili,
‫creano programmi e app che utenti e clienti utilizzano e che rilasciano dati.
‫Quindi un ingegnere dei dati costruirebbe questa conduttura e pipeline per consentirci di acquisire dati e archiviarli in diversi servizi come Hadoop,
‫come Google Bakery, in modo che il resto dell'azienda possa accedere a tali dati.
‫Successivamente, abbiamo data scientist che utilizzano il data lake e data scientist per estrarre informazioni e fornire una
‫sorta di valore aziendale.
‫Infine, abbiamo analisti di dati o business intelligence per utilizzare qualcosa come un data warehouse o dati strutturati per
‫ricavare nuovamente valore aziendale e spero che questo chiarisca un po' il quadro quando ascolterai
‫tutti questi titoli nel settore.
‫Ora, il settore è in rapida evoluzione e ci sono sicuramente alcune sovrapposizioni e talvolta ciò che una descrizione del lavoro potrebbe
‫dire potrebbe essere diversa dall'altra.
‫Ma queste sono regole generali semplificate che puoi usare per capire come ogni ruolo gioca nella parte di
‫un'azienda.