‫مرحبًا بعودتك.
‫لذا فقد مررنا للتو بهذا التدفق الكامل لكيفية استخدام البيانات من قبل الشركة.
‫ولكن هناك بعض الأشياء الأخرى التي أود التحدث عنها ، لأننا تحدثنا الآن للتو عن
‫المياه وكيف ينطبق ذلك حقًا؟
‫ما نوع الأدوات التي يستخدمها مهندسو البيانات بالفعل؟
‫حسنًا ، ربما سمعت عن شيء مثل.
‫كافكا وسنصل إلى كافكا لاحقًا.
‫لكن شيئًا مثل جمع تدفقات البيانات هذه ووضعها في بحيرة بيانات.
‫قد يكون شيئًا قد يفعله كافكا أو أباتشي كافكا لبحيرات البيانات ، على سبيل المثال.
‫هذه مجرد برامج يمكن للشركات استخدامها.
‫على سبيل المثال ، ربما تكون قد سمعت عن Hadoop أو Amazon S3 أو Azure Data Lake.
‫هذه هي البرامج التي تم إنشاؤها بواسطة المهندسين لاحتواء كميات كبيرة من البيانات ، مثل تسرب البيانات.
‫ثم بالنسبة لمستودع البيانات لدينا ، لدينا أدوات مثل Google و BigQuery و Amazon و Redshift وحتى Amazon
‫و Athena.
‫هذه هي مستودعات البيانات التي تسمح للمهندسين بإجراء استعلامات أو تحليل هذه البيانات المنظمة.
‫الآن أنا أعرف ما تفكر فيه.
‫من يفعل ماذا في هذا النظام كله؟
‫لقد تعلمنا أن مهندس البيانات هو الذي أنشأ هذا النظام بالكامل لنا.
‫يستخدمون أدوات وبرامج مختلفة لاستيعاب البيانات ثم وضعها في بحيرة بيانات أو مستودع بيانات.
‫لذلك بصفتك عالم بيانات وخبيرًا في التعلم الآلي.
‫ما هي البيانات التي تستخدمها؟
‫أوقف الفيديو وفكر فيه.
‫جاهز للإجابة.
‫حسنًا ، في معظم الأوقات ، ستعمل مع بحيرة بيانات.
‫لأن تذكر ، إذا كنت تقوم بالتعلم الآلي ، فكلما زادت البيانات لديك ، كان ذلك أفضل ، أليس كذلك؟
‫وباستخدام التعلم الآلي ، يمكنك استخدام البيانات المنظمة أو غير المنظمة.
‫لذا يمكنك الذهاب إلى بحيرة البيانات والاستيلاء على مجموعة من البيانات لاستخدامها في نماذجك ، سواء كانت
‫في نماذج CSV أو أي نماذج أخرى.
‫وعادة ما يتم استخدام مستودعات البيانات من قبل الأطفال أو رجال الأعمال الأذكياء أو محللي الأعمال
‫أو محللي البيانات لعمل تصور أو تحليل البيانات.
‫نظرًا لأن مستودع البيانات يحتوي عادةً على بيانات منظمة تم مسحها أكثر مما كانت عليه عندما كان تسربًا
‫للبيانات.
‫من الأسهل كثيرًا فهم البيانات واستخدامها للحصول على المعلومات.
‫الآن ، كعالم بيانات ، يمكنك استخدام البيانات من مستودع البيانات.
‫وهذه ليست مجرد قاعدة ، فعادة ما تستخدم أي بيانات مفيدة لك.
‫لكن هذه طريقة جيدة للتفكير في الأشياء التي يستخدمها عالم البيانات أكبر قدر ممكن من البيانات ، أكبر قدر
‫ممكن من البيانات المفيدة.
‫في حين أن شخصًا ما مثل شخص ذكاء الأعمال أو محلل بيانات لديه بالفعل عملية تنظيف البيانات بواسطة
‫مهندس بيانات ويستخدم شيئًا مثل مستودع البيانات لتحليل البيانات.
‫وهذا هو بالضبط استعلام Google الكبير.
‫يسمح لشخص ليس لديه خبرة هندسية أو خبرة برمجية كبيرة بتحليل هذه البيانات
‫في مستودع البيانات.
‫هناك طريقة أخرى للتفكير في الأمر وهي عادةً مهندس برمجيات ، مطور برمجيات ، مطور تطبيقات
‫، مطور للهواتف المحمولة ، يبنون برامج وتطبيقات يستخدمها المستخدمون والعملاء والتي تطلق البيانات.
‫ثم يقوم مهندس البيانات ببناء هذه الأنابيب وخط الأنابيب لنا لاستيعاب البيانات وتخزينها في خدمات مختلفة مثل Hadoop
‫، مثل Google ، BigQuery ، بحيث يمكن الوصول إلى هذه البيانات من قبل بقية الأعمال.
‫بعد ذلك ، لدينا علماء بيانات يستخدمون بحيرة البيانات ، بالإضافة إلى علماء البيانات لاستخراج المعلومات وتقديم
‫نوع من القيمة التجارية.
‫أخيرًا ، لدينا محللو بيانات أو ذكاء أعمال لاستخدام شيء مثل مستودع البيانات أو البيانات المنظمة
‫، مرة أخرى ، لاستخلاص قيمة الأعمال.
‫وآمل أن يوضح ذلك الصورة قليلاً عندما تسمع كل هذه العناوين الموجودة في الصناعة.
‫الآن ، الصناعة تتطور بسرعة وهناك بالتأكيد بعض التداخل.
‫وأحيانًا ما قد يقوله أحد التوصيفات الوظيفية قد يكون مختلفًا عن الآخر.
‫لكن هذه قواعد عامة ومبسطة يمكنك استخدامها لفهم كيف يلعب كل دور دورًا
‫في الشركة.