‫دعنا نتحدث عن Apache Spark و Apache Flink.
‫كما ترى ، قبل Apache Spark ، عادة ما يستخدم الناس Hadoop و MapReduce لمعالجة كل شيء.
‫جاء Spark وقام بالفعل بتحسين MapReduce و Hadoop من خلال القيام بشيء يسمى المعالجة
‫في الذاكرة ، والتي سمحت بشكل أساسي لـ Spark بتشغيل وظائف المعالجة بشكل أسرع بكثير من MapReduce.
‫لذلك أصبح Apache Spark مشهورًا حقًا ، وربما يكون الانتقال إلى إطار عمل المعالجة المجمعة.
‫لذلك إذا كنت ترغب في معالجة الكثير من البيانات ، حسنًا ، يمكنك استخدام Hadoop لتخزين تلك البيانات في HDFS
‫واستخدام Apache Spark لتشغيل وظائف ETL مثل استخراج تلك البيانات وتحويلها وتحميلها لتنظيفها وتحويلها.
‫الآن ، حتى الآن ، كان لدينا معالجة مجمعة ، وهو ما يعني بشكل أساسي إعطائي جزءًا من البيانات وسأقوم بمعالجة
‫هذه البيانات خلال فترة زمنية قصيرة.
‫عادةً ما تقوم بتشغيل وظيفة معالجة مجمعة في نهاية الليل وفي الصباح بعد ساعتين
‫، يتم إنجاز المهمة.
‫ولكن منذ بضع سنوات ، بدأت فكرة المعالجة في الوقت الفعلي تحدث.
‫ظهرت أشياء مثل تدفق شرارة ، مما جعل المعالجة في الوقت الفعلي تقريبًا ممكنة.
‫أي ، بدلاً من المعالجة المجمعة حيث انتظرت حتى نهاية الليل لتشغيل بعض الوظائف على كمية
‫البيانات.
‫بدلاً من ذلك ، في كل مرة يتم فيها إدخال البيانات ، تقوم بمعالجة تلك البيانات في هذه المساحة.
‫لقد تولى أباتشي فلينك المسؤولية حقًا.
‫يوفر معالجة دفق الوقت الحقيقي.
‫الآن ، على الرغم من أن Spark لا تزال شائعة ، إلا أن أدوات مثل Apache Flink بدأت تصبح شائعة الآن.
‫أصبحت فكرة تدفق البيانات ومعالجة الدفق أكثر شيوعًا.
‫لا يزال جديدًا ، ولكن هناك بعض الأشياء المثيرة التي تحدث في هذا المشهد.
‫لذلك دعونا نتحدث عن ذلك في الفيديو التالي.