‫تمام.
‫إذن ما الذي يفعله مهندس البيانات في الواقع؟
‫لنبدأ بثلاث كلمات كبيرة نحتاج إلى فهمها قبل أن نفهم حقًا ما يفعله مهندس
‫البيانات.
‫نعم أنا أعلم.
‫أستمر في الالتفاف حول مهندس البيانات وأستمر في إثارة حماسك ، لكنني أعدك بأننا نقترب
‫حقًا ، حقًا.
‫نحتاج فقط لمناقشة هذه الكلمات الثلاث التي ربما تكون قد سمعت بها أو لم تسمع بها.
‫أحدهما هو التنقيب في البيانات ، والتنقيب في البيانات يعني ببساطة المعالجة المسبقة واستخراج بعض المعرفة من البيانات.
‫لذلك نستخدم نوعًا من البيانات لاستخراج المعرفة منها.
‫هذا ما هو التنقيب عن البيانات.
‫البيانات الكبيرة؟
‫حسنًا ، هذا يعني أن لدينا الكثير من البيانات ، والكثير من المتغيرات ، والكثير من البيانات ، في الواقع ، لا
‫يمكنك تشغيلها على الكمبيوتر المحمول الخاص بك.
‫هناك الكثير من البيانات التي يمكن لجهاز الكمبيوتر المحمول أو الكمبيوتر الاحتفاظ بها.
‫عادةً عندما نتحدث عن البيانات الضخمة ، فهذه البيانات كبيرة جدًا لدرجة أنك تحتاج إلى تشغيلها على الحوسبة
‫السحابية أو أجهزة كمبيوتر متعددة مثل AWS Azure و Google Cloud لأن لديهم الكثير من أجهزة الكمبيوتر والكثير من السعة التخزينية
‫لتخزين هذه البيانات .
‫لهذا السبب تعتبر البيانات الضخمة البيانات الضخمة هي بيانات لا يمكنك الحصول عليها عادةً على جهاز كمبيوتر واحد فقط.
‫يحدث هذا عادةً لأن مجموعات البيانات تصبح كبيرة جدًا.
‫لدينا بيتابايت وبيتابايت من البيانات الآن.
‫لذا فإن مجرد الحصول على البيانات في قاعدة بيانات مثل MySQL أو ما بعد العشب أو أي نوع من قواعد البيانات يصبح صعبًا حقًا عندما تكون
‫قاعدة البيانات هذه مجرد جهاز واحد.
‫الآن ، تم اختراع تقنيات جديدة لحل مشكلة البيانات الضخمة مثل Hadoop و NoSQL ، والتي سنتحدث
‫عنها.
‫الآن خط أنابيب البيانات هو في الأساس خط أنابيب يبنيه مهندس البيانات لاستخدام حقيقة أن لدينا هذه الكمية الكبيرة من البيانات
‫، نحتاج إلى استخراج المعلومات من هذه البيانات باستخدام التنقيب عن البيانات.
‫لذلك نحتاج إلى إحضار أو بناء خط أنابيب يسمح لنا بالتدفق من تلك الكمية الكبيرة غير المعروفة من
‫البيانات إلى خط أنابيب يستخرج البيانات إلى نموذج أكثر فائدة.
‫لذلك يقوم مهندس البيانات بشكل أساسي بإنشاء خط أنابيب بيانات حيث يتم إنشاء جميع المعلومات التي توفرها الأجهزة
‫المختلفة مثل أجهزة Iot وتطبيقات الهاتف المحمول وتطبيقات الويب والكاميرات والسيارات وأي شيء تقريبًا
‫يجمع البيانات ويخزن المعلومات أو يسجل البيانات في الخوادم أو إلى السحابة .
‫يقوم مهندس البيانات بشكل أساسي بتجميع كل هذه المعلومات في قواعد بيانات ومحركات تخزين معبأة بشكل جيد بحيث يمكن
‫لأجزاء مختلفة من الشركة إنشاء تصورات ، ويمكنهم مراقبة أداء منتجاتهم ، ويمكنهم الحصول على رؤى
‫تجارية واتخاذ قرارات العمل من هذه البيانات وحتى استخدامها هذه البيانات على
‫تطبيقاتهم.
‫على سبيل المثال ، لملفات تعريف المستخدمين قبل تعيين عالم بيانات أو خبير تعلم
‫آلي أو حتى ذكاء أعمال أو محلل بيانات لشركة كبيرة.
‫الشيء الذي يتعين عليهم القيام به قبل القيام بكل ذلك هو تعيين مهندس بيانات.
‫إنهم يبنون خط الأنابيب الذي يسمح لنا بالعمل كعلماء بيانات.
‫تذكر هذا الشكل وكيف ركزنا على هذا الجزء.
‫حسنًا ، يسمح لنا مهندس البيانات بالقيام بجزء جمع البيانات هذا.
‫إنهم يجلبون كل هذه المعلومات وينظمونها بطريقة تمكننا من القيام بنمذجة البيانات الخاصة بنا.
‫إنهم يساعدوننا حقًا في جزء جمع البيانات هذا الذي عادةً ما يكون مهندس تعلم آلي أو عالم بيانات
‫، لا داعي لأن تشغل نفسك كثيرًا به.
‫ولكن هل تعلم؟
‫العرض التوضيحي المفضل لدي لما هو مهندس البيانات هو في الفيديو التالي.
‫آمل أن تكون متحمسًا لأن الأمور ستبدأ في أن تصبح منطقية أكثر فأكثر.
‫سأراكم في ذلك.
‫مع السلامة.