‫Mari kita bicara tentang Apache Spark dan sayap Apache, Anda lihat sebelum Apache Spark, biasanya orang menggunakan hasil
‫peta Hadoop untuk memproses semuanya.
‫Spark datang dan benar-benar meningkatkan produksi peta dan Hadoop dengan melakukan sesuatu yang
‫disebut dalam pemrosesan memori, yang pada dasarnya memungkinkan Spark untuk menjalankan pekerjaan pemrosesan jauh lebih cepat daripada produksi massal.
‫Jadi Pache Spark menjadi sangat, sangat populer, dan mungkin ini adalah kerangka kerja pemrosesan batch.
‫Jadi jika Anda ingin memproses banyak data, Anda dapat menggunakan Hadoop untuk menyimpan data data tersebut dan
‫HDFC dan menggunakan Apache Spark untuk menjalankan pekerjaan ETEL seperti mengekstrak, mengubah, memuat untuk membersihkan dan mengubah data tersebut.
‫Sekarang, sampai sekarang, kami memiliki pemrosesan batch, yang pada dasarnya berarti memberi saya sepotong data dan saya
‫akan memproses data ini dalam beberapa waktu, biasanya Anda akan menjalankan pekerjaan pemrosesan batch di penghujung malam dan
‫di pagi hari, setelah beberapa jam, pekerjaan selesai.
‫Tetapi pada beberapa tahun yang lalu, gagasan tentang pemrosesan waktu nyata mulai terjadi.
‫Hal-hal seperti streaming percikan keluar, yang hampir memungkinkan pemrosesan waktu nyata.
‫Artinya, alih-alih pemrosesan batch, di mana Anda menunggu hingga larut malam untuk menjalankan beberapa pekerjaan
‫dengan jumlah data.
‫Sebaliknya, setiap kali data masuk, Anda memproses data tersebut di ruang ini.
‫Apache Flink benar-benar mengambil alih.
‫Ini menawarkan pemrosesan aliran waktu nyata sekarang, meskipun Spark masih populer, alat seperti Apache Flink
‫mulai menjadi populer.
‫Sekarang, ide streaming data dan pemrosesan streaming ini menjadi semakin populer.
‫Memang masih baru, tapi ada beberapa hal menarik yang terjadi di lanskap ini.
‫Jadi mari kita bicarakan itu di video berikutnya.