‫دعنا ننتهي من هذه النظرة العامة عالية المستوى لما يفعله مهندس البيانات من خلال وصف المهام الرئيسية الثلاث التي يقومون
‫بها.
‫الأول هو أنهم يبنون ما نسميه خط أنابيب ETL.
‫أو استخراج تحويل خط أنابيب الحمل.
‫لذلك على عكس استيعاب البيانات ، والذي يعني ببساطة نقل البيانات من مكان إلى آخر.
‫وخط أنابيب ETL هو فكرة أن مهندس البيانات يستخرج البيانات التي تم إنشاؤها بواسطة كل هذه
‫الأنظمة.
‫إنهم يستخرجون تلك البيانات ، وبعد ذلك عندما يستخرجون تلك البيانات ، يقومون بالتحويل.
‫البيانات في نموذج مفيد في نموذج يمكن تحميله في مستودع البيانات.
‫لذا فهم يستخرجون البيانات.
‫يقومون بتحويل البيانات.
‫ويقومون بتحميله في شيء مثل مستودع البيانات بحيث يمكن استخدام البيانات من قبل بقية الشركة.
‫ويستخدمون لغات البرمجة مثل Python و Go Scala و Java لإنجاز مهام ETL هذه أو استخراج حمل
‫التحويل.
‫هذه هي المهمة الأولى.
‫ما هو الثاني؟
‫الثاني هو بناء أدوات التحليل.
‫ترى أن نفهم كيف تعمل أنظمة شركتنا.
‫يحتاج مهندس البيانات إلى التأكد من أنه عند تعطل أي جزء من النظام ، يتم إعلامنا بذلك.
‫لذا فإن مهندس البيانات يسمح لعلماء البيانات ومحللي البيانات وذكاء الأعمال باستخدام
‫الأدوات لتحليل البيانات ، ولكن أيضًا للتأكد من أن النظام الذي وضعوه يعمل بشكل صحيح.
‫أخيرًا ، من الواضح أن مهمتهم الرئيسية الثالثة هي الحفاظ على مستودع البيانات وبحيرات البيانات.
‫هذا هو التأكد من أن كل شيء هناك يمكن الوصول إليه من قبل أجزاء أخرى من الشركات لاستخدامه.
‫والآن بعد أن أصبح لدينا نظرة عامة عالية المستوى لما يفعله مهندس البيانات.
‫أريد أن أتحدث عن بعض الأدوات التي سمعت عنها بالتأكيد في الصناعة ، أشياء
‫مثل Hadoop و Kafka و Apache و Spark ، كل هذه المصطلحات التي يصعب فهمها حقًا.
‫سأحاول أن أقدم لك نظرة عامة على هذا المشهد حتى في المرة القادمة عندما يسألك شخص ما ، مرحبًا ، هل
‫يجب أن نستخدم Hadoop؟
‫مهلا ، ما هو Hadoop؟
‫هل نحن بحاجة إلى كافكا؟
‫ستتمكن من الإجابة على ذلك.
‫وبعد هذه الدورة ، يمكنك الانطلاق بمفردك وتعلم بالفعل استخدام هذه الأدوات إذا
‫ظهرت في وظيفتك.
‫الآن ، هذا المشهد يتغير بسرعة.
‫ظهرت أدوات جديدة على اليسار واليمين والوسط.
‫لذا فإن نصيحتي لك هي أن ما سأعرضه لك خلال الفيديوهات التالية التي
‫لا تلتقطها كما يجب أن يعرفه كل مهندسي البيانات.
‫بدلا من ذلك ، اعلم أنها موجودة.
‫اذهب واقرأ بعض الوثائق الخاصة بهم ، وبعض المعلومات عبر الإنترنت ، ولكن تعلمها أو استخدمها
‫فقط بمجرد ظهور الحاجة إليها لأنه يتم تحديثها باستمرار.
‫وعالم هندسة البيانات يسير بخطى سريعة حقًا في الوقت الحالي.
‫ولكن مع ذلك ، دعنا نتعمق في البيانات في مقطعي الفيديو التاليين.