‫Apache Spark ve Apache Flink hakkında konuşalım.
‫Apache Spark'tan önce insanlar genellikle her şeyi işlemek için Hadoop, MapReduce kullanıyordu.
‫Spark ortaya çıktı ve aslında bellek içi işleme adı verilen bir şey yaparak MapReduce
‫ve Hadoop'u geliştirdi, bu da Spark'ın işleme işlerini MapReduce'dan çok çok daha hızlı çalıştırmasını sağladı.
‫Böylece Apache Spark gerçekten çok popüler oldu ve muhtemelen toplu işleme çerçevesi olarak kullanılmaya başlandı.
‫Çok fazla veri işlemek istiyorsanız, bu verileri HDFS'de depolamak için Hadoop'u kullanabilir ve bu verileri temizlemek
‫ve dönüştürmek için ayıkla, dönüştür, yükle gibi ETL işlerini çalıştırmak için Apache Spark'ı kullanabilirsiniz.
‫Şimdiye kadar toplu işleme yöntemini kullanıyorduk, yani bana bir yığın veri verin ve ben de bu verileri
‫belirli bir süre boyunca işleyeyim.
‫Genellikle gecenin sonunda bir toplu işleme işi çalıştırırsınız ve sabah birkaç saat sonra
‫iş tamamlanmış olur.
‫Ancak birkaç yıl öncesinden itibaren gerçek zamanlı işleme fikri ortaya çıkmaya başladı.
‫Neredeyse gerçek zamanlı işlemeyi mümkün kılan spark streaming gibi şeyler ortaya çıktı.
‫Yani, veri miktarı üzerinde bazı işleri çalıştırmak için gecenin sonuna kadar beklediğiniz toplu
‫işlem yerine.
‫Bunun yerine, her veri geldiğinde, o veriyi bu alanda işlersiniz.
‫Apache Flink gerçekten hücuma geçti.
‫Gerçek zamanlı akış işleme sunar.
‫Şimdi, Spark hala popüler olsa da, Apache Flink gibi araçlar artık popüler olmaya başlıyor.
‫Bu veri akışı ve akış işleme fikri giderek daha popüler hale geliyor.
‫Henüz çok yeni ama bu coğrafyada heyecan verici şeyler oluyor.
‫Bu konuyu bir sonraki videoda konuşalım.