‫دعنا نتحدث عن Hadoop.
‫لذلك عندما بدأت الشركات في إنتاج المزيد والمزيد من البيانات ، أصبحت قواعد البيانات التي لدينا ، مثل MySQL ، غير
‫فعالة للغاية أو غير قادرة على الاحتفاظ بكميات كبيرة من البيانات.
‫وأصبح Hadoop حجر الزاوية في هندسة البيانات.
‫كما ترى ، Hadoop هو إطار معالجة موزع مفتوح المصدر.
‫يسمح لنا بمعالجة البيانات وتخزينها للبيانات الضخمة.
‫وقد تم تطويره بالفعل بواسطة Yahoo!
‫مرة أخرى في اليوم ثم تبرعت لاحقًا لمؤسسة Apache Software Foundation.
‫كان Hadoop هو الغضب الشديد عندما بدأ جنون البيانات الضخمة.
‫كان Hadoop هو الحل الذي سمح لجميع هذه الشركات التي لديها بيتابايت من البيانات بتخزين هذه المعلومات
‫في Hadoop.
‫الآن ، كان Hadoop أساسًا بحيرة بيانات ، أليس كذلك؟
‫إنه حل بحيرة بيانات.
‫يسمح لنا فقط بتخزين كل هذه البيانات لنا.
‫لكن شعبية Hadoop كانت بسبب شيئين كبيرين.
‫واحد كان HD FS.
‫هذا هو نظام الملفات الموزعة Hadoop.
‫كان Hadoop قادرًا على تخزين الكثير من البيانات بسبب HDFS ، وهو نظام ملفات يشبه تمامًا جهاز الكمبيوتر
‫الخاص بك والذي سمح له بتخزين الملفات على أجهزة كمبيوتر متعددة.
‫بمعنى ، يمكننا استخدام Hadoop على أجهزة كمبيوتر متعددة لتخزين أكبر قدر من البيانات كما نريد.
‫كانت قابلة للتطوير.
‫يمكننا التوسع.
‫لذلك يتم تخزين البيانات عبر أجهزة كمبيوتر مادية مختلفة.
‫ثم كان MapReduce ، لأنه بمجرد قيامنا بتخزين البيانات ، نحتاج إلى أداء بعض الوظائف ، وبعض المعالجة على تلك البيانات.
‫الصحيح.
‫وسمح لنا MapReduce في Hadoop بأداء وظائف مقابل هذه البيانات التي كانت لدينا في بحيرة البيانات باستخدام
‫لغات مثل Java أو Python.
‫يمكنك استخدام MapReduce في Hadoop للقيام بما نسميه المعالجة المجمعة.
‫وهذا يعني أنه في كل ليلة يمكننا تشغيل نوع من العمل لتنظيف بياناتنا ، ومعالجة بياناتنا
‫وجعلها مفيدة للشركة.
‫الآن ، لم يعد يتم استخدام MapReduce كثيرًا كما سنرى لاحقًا في مقاطع الفيديو لأن لدينا شيئًا يسمى Apache
‫Spark وهو في الواقع أسرع قليلاً.
‫لكننا سنصل إلى ذلك.
‫الفكرة هنا هي أن لدينا أخيرًا أداة مع Hadoop تسمح لنا بتخزين الكثير من البيانات
‫عبر أجهزة متعددة باستخدام وظائف مجموعة HDFS و Ron باستخدام MapReduce على هذه المجموعات الكبيرة من البيانات وبدأت الكثير
‫من الأدوات الأخرى في الظهور حول Hadoop أدوات مثل Hive.
‫بالمناسبة أحب شعارهم.
‫تحقق من ذلك.
‫على أي حال.
‫Hive يجعل كتلة Hadoop الخاصة بك.
‫تشعر أنها قاعدة بيانات علائقية.
‫على الرغم من أنه ليس كذلك.
‫يسمح لك باستخدام Hive وكتابة استعلامات SQL مقابل نظام ملفات HDFS الخاص بك.
‫بمعنى ما ، كان لديك نوعًا ما بحيرة البيانات هذه من Hadoop وأيضًا نوعًا ما من نوع مستودع البيانات مع Hive عن
‫طريق السماح بأوامر SQL على بياناتك التي نأمل أن تتم معالجتها باستخدام MapReduce.
‫وربما لم تسمع عن Hadoop من قبل لأنه يستخدمه مهندسو البيانات.
‫تذكر أن مهندسي البيانات لا يعملون عادةً على الأنظمة التي يواجهها العملاء.
‫أي أنهم لا ينشئون قواعد بيانات قد تستخدمها مع تطبيقك أو مع تطبيق ويب.
‫بدلاً من ذلك ، يقومون ببناء الأنظمة خلف الكواليس التي تستوعب ، وتجمع ، وتشغل ، وظائف ETL ، أي استخراج
‫وتحويل وتحميل البيانات.
‫إذن Hadoop ، هو ذلك طبقة التخزين خلف الكواليس التي تخزن كمية كبيرة من البيانات التي تشغل معالجة الدُفعات مقابل هذه
‫البيانات حتى نتمكن من الحصول على بعض المعلومات المفيدة.
‫ولا يزال Hadoop يتمتع بشعبية كبيرة وقادر للغاية عندما يتعلق الأمر بالبيانات الكبيرة ، بيتابايت من البيانات.
‫دعنا نتعلم المزيد من الأدوات في الفيديو التالي.