‫Parliamo di Hadoop, quindi quando le aziende hanno iniziato a generare sempre più dati, i nostri
‫database che avevamo, come MySQL, sono diventati troppo inefficienti o incapaci di contenere grandi quantità di dati e Hadoop è diventato
‫una pietra angolare dell'ingegneria dei dati.
‫Vedete, Hadoop è un framework di elaborazione distribuito open source.
‫Ci consente di eseguire l'elaborazione e l'archiviazione dei dati per i big data.
‫Ed è stato effettivamente sviluppato da Yahoo!
‫In passato e poi donato alla Apache Software Foundation.
‫Hadoop era di gran moda quando è iniziata la mania dei big data, Hadoop era una soluzione che consentiva a
‫tutte queste aziende con petabyte di dati di archiviare queste informazioni in Hadoop.
‫Ora, Hadoop era essenzialmente una fuga di dati, giusto?
‫È una soluzione data lake.
‫Ci consente di archiviare tutti questi dati per noi.
‫Ma la popolarità di Hadoop è dovuta a due grandi cose.
‫Uno era HDFC, ovvero il file system distribuito Hadoop.
‫Hadoop è stato in grado di archiviare così tanti dati grazie a questo, un file system proprio come quello che hai sul tuo computer
‫che gli ha permesso di archiviare file su più computer.
‫Cioè, possiamo usare Hadoop su più computer per archiviare tutti i dati che vogliamo.
‫Era scalabile.
‫Potremmo scalare.
‫Quindi i dati vengono archiviati su diversi computer fisici.
‫Quindi la mappa è stata ridotta perché una volta archiviati i dati, dobbiamo eseguire alcuni lavori, alcune elaborazioni su quei dati,
‫giusto.
‫E map reduce e Hadoop ci ha permesso di eseguire lavori su questi dati che avevamo in un data lake usando
‫linguaggi come Java o Python.
‫Puoi usare Map, Reduce e Hadoop per fare ciò che chiamiamo elaborazione batch.
‫Cioè, ogni notte possiamo eseguire una sorta di lavoro per pulire i nostri dati, elaborare i nostri dati e
‫renderli utili per l'azienda.
‫Ora, Map Reduce non viene più utilizzato così spesso come vedremo più avanti nei video, perché abbiamo qualcosa chiamato Apache Spark
‫che in realtà è un po' più veloce, ma ci arriveremo.
‫L'idea qui è che abbiamo finalmente uno strumento con Hadoop che ci consente di archiviare
‫molti dati su più macchine utilizzando l'accesso e l'esecuzione di lavori batch, utilizzando la produzione di massa su questi grandi set di dati.
‫E molti altri strumenti hanno iniziato a spuntare intorno agli strumenti Hadoop come Hive.
‫A proposito, adoro il loro logo.
‫Dai un'occhiata comunque, Hive crea il tuo cluster Hadoop.
‫Sembra un database relazionale.
‫Anche se non lo è, ti consente di utilizzare Hive e scrivere query Eskil sul tuo primo file system.
‫Quindi, in un certo senso, hai avuto questa perdita di dati di Hadoop e anche un po' di un tipo di data warehouse con
‫Hive permettendoti tutti i comandi sui tuoi dati che, si spera, sono stati elaborati utilizzando la produzione di mappe.
‫E potresti non aver sentito parlare di Hadoop prima perché è utilizzato dai data engineer.
‫Ricorda, i data engineer di solito non lavorano su sistemi rivolti ai clienti.
‫Cioè, non creano database che useresti con la tua app o con un'app web.
‫Invece, costruiscono i sistemi dietro le quinte che acquisiscono, raccolgono, eseguono lavori ETL, ovvero estraggono,
‫trasformano, caricano i dati.
‫Quindi Hadoop è quel livello di archiviazione dietro le quinte che memorizza grandi quantità di dati che eseguono l'elaborazione batch su
‫questi dati in modo da poter avere alcune informazioni utili.
‫E Hadoop è ancora molto popolare e molto capace quando si tratta di dati di grandi dimensioni, petabyte di dati.
‫Impariamo qualche altro strumento nel prossimo video.