‫مرحبًا بعودتك.
‫لذلك علمنا أنه بصفتك مهندس بيانات ، فإنك تجمع البيانات ، وتستوعب البيانات ، ثم تخزنها في بحيرة بيانات ، غالبًا
‫ما تكون عبارة عن مجموعة Hadoop.
‫الآن ، يمكن أيضًا استخدام فكرة بحيرة البيانات هذه مع شيء مثل تخزين كائن S3.
‫إذن هذان هما الأكثر شعبية.
‫وبعد ذلك بمجرد وجودهم في بحيرة البيانات الخاصة بك ، يمكنك عادةً تشغيل وظائف مجمعة على هذه البيانات لتنظيفها
‫أو تعديلها أو مناقشتها بطريقة ما.
‫لذلك سمح لنا Hadoop بالقيام بذلك.
‫باستخدام MapReduce ، يمكننا استخدام Apache Spark.
‫يمكنك فقط كتابة البرامج النصية يدويًا على Amazon S3 أو يمكنك القيام بأفضل الوظائف باستخدام قواعد البيانات الشائعة
‫مثل قواعد بيانات SQL.
‫لكن فكرة معالجة الدفق هذه أصبحت الآن أكثر شيوعًا.
‫بدلاً من معالجة البيانات باستخدام وظائف مجمعة فقط ، دعنا نقول كل ساعة أو كل يوم ، هناك الآن
‫تحرك نحو فكرة معالجة البث في الوقت الفعلي.
‫هذا يعني أنه عند استلام البيانات ، يتم معالجتها على الفور بدلاً من الانتظار قليلاً حتى نتمكن من عمل دفعات
‫في وقت واحد.
‫هذا يسمح لنا بالحصول على ردود أفعال أسرع للبيانات.
‫الآن ، فكرة معالجة الدفق هذه معقدة جدًا ، لكن أحد الأدوات الرئيسية المستخدمة
‫حاليًا لمعالجة التدفق هو شيء يسمى كافكا.
‫كافكا.
‫إذا نظرنا إلى موقع الويب الخاص بهم ، فهو عبارة عن منصة بث موزعة.
‫يسمح لنا بقراءة وكتابة تدفقات البيانات مثل نظام المراسلة.
‫يسمح لنا بالمعالجة ويسمح لنا بتخزين البيانات أيضًا.
‫ولكن كما ترون ما يفعله كافكا ، فإنه يسمح لنا بتلقي الرسائل ونقلها إلى أماكن مختلفة.
‫لذلك ما ستراه كثيرًا هو أننا نستخدم Apache Kafka لتلقي كل هذه الرسائل والسجلات والبيانات من كل هذه
‫المصادر.
‫نقوم بتجميعها في موقع مركزي ومن ثم يمكن لكافكا نقلها إلى مواقع مختلفة.
‫على سبيل المثال ، يمكننا تمرير كل ما يتلقاه كافكا إلى كتلة Hadoop لتخزين تلك البيانات.
‫ثم ربما ، إذا أردنا ، استخدام Apache Spark لمعالجة تلك البيانات في مستودع بيانات.
‫لكن الآن ، مع فكرة المعالجة في الوقت الفعلي ، يسمح لنا كافكا الآن بنقل الأشياء إلى نفسها بشكل جيد.
‫أو يمكننا استخدام شيء مثل Spark Streaming أو Flink ، والذي تحدثنا عنه عن Apache
‫Flink الذي يتم استخدامه بشكل أكبر لمعالجة البث أو Apache Storm أو حتى Kinesis من Amazon ، والتي يمكن
‫وضعها أيضًا مثل Kafka هنا للتعامل مع كل هذه الرسائل من كل هذه المواقع.
‫الآن ، في نهاية اليوم ، قد يكون كل هذا مربكًا.
‫قد تغمرك كل هذه الأدوات المتوفرة.
‫لكن تذكر ما قلته في بداية هذا القسم.
‫مهندس البيانات هو الشخص الذي ستتفاعل معه كعالم بيانات.
‫لذلك من الجيد معرفة ما يفعلونه ، وما هي أدوارهم ، وما هي مسؤولياتهم
‫، وستعمل عن كثب معهم حتى تتوفر لك البيانات لإجراء التحليل عليها أو بناء نماذج التعلم
‫الآلي.
‫لكن آمل أن يكون هذا الرسم البياني الآن منطقيًا.
‫ينشئ مهندس البيانات هذا المشهد من أجلك حيث يستوعب البيانات من خلال معلومات تخزين كافكا باستخدام
‫شيء مثل Hadoop أو Amazon S3.
‫يقومون بمعالجة تلك البيانات باستخدام شيء مثل Apache Spark أو Kinesis.
‫ثم حتى البيانات المخزنة في مستودعات البيانات.
‫لذلك يمكن للأشخاص داخل الشركة استخدام أدوات مثل Redshift أو BigQuery لتعلم شيء مفيد من البيانات.
‫يبنون الهيكل لكي تزدهر.
‫لذا كن لطيفا معهم.
‫وإذا كنت مهتمًا بأي من هذه التقنيات ، فإنها تتغير بسرعة كبيرة ، لكنها بالتأكيد
‫تستحق نظرة وليست مخيفة للتعلم كما قد تعتقد.
‫سأراك في المرحلة التالية.
‫مع السلامة.