‫Parliamo di Apache Spark e del fianco di Apache, vedi prima di Apache Spark, di solito le persone usavano la produzione
‫di mappe Hadoop per elaborare tutto.
‫Spark è arrivato e ha effettivamente migliorato la produzione di mappe e Hadoop facendo qualcosa chiamato
‫elaborazione della memoria, che essenzialmente ha permesso a Spark di eseguire processi di elaborazione molto, molto più velocemente rispetto alla produzione di massa.
‫Quindi Pache Spark è diventato molto, molto popolare, ed è probabilmente il framework di elaborazione batch.
‫Quindi, se vuoi elaborare molti dati, beh, puoi usare Hadoop per archiviare quei dati e HDFC
‫e utilizzare Apache Spark per eseguire lavori ETEL come estrarre, trasformare, caricare per pulire e trasformare quei dati.
‫Finora, avevamo l'elaborazione batch, il che significa essenzialmente darmi un pezzo di dati e io elaborerò questi dati
‫in un po' di tempo, di solito eseguivi un processo di elaborazione batch alla fine della notte e in la
‫mattina, dopo un paio d'ore, il lavoro è fatto.
‫Ma a partire da alcuni anni fa, l'idea dell'elaborazione in tempo reale ha iniziato a prendere piede.
‫Sono uscite cose come lo spark streaming, che ha reso quasi possibile l'elaborazione in tempo reale.
‫Cioè, invece dell'elaborazione batch, dove hai aspettato fino alla fine della notte per eseguire alcuni lavori su una
‫quantità di dati.
‫Invece, ogni volta che arrivano dati, li elabori in questo spazio.
‫Apache Flink si è davvero assunto l'incarico.
‫Offre l'elaborazione del flusso in tempo reale ora, sebbene Spark sia ancora popolare, strumenti come Apache Flink stanno
‫iniziando a diventare popolari.
‫Ora, questa idea di streaming di dati e di elaborazione del flusso sta diventando sempre più popolare.
‫È ancora nuovo, ma ci sono alcune cose eccitanti che accadono in questo panorama.
‫Quindi ne parliamo nel prossimo video.