‫مرحبًا بعودتك.
‫إذن ما هي البيانات؟
‫أعني ، لقد تحدثنا عنها بالفعل ويجب أن تكون لدينا فكرة عن ماهية البيانات.
‫ونعرف أيضًا سبب اهتمام الشركات بالبيانات ، أليس كذلك؟
‫نحن نعيش الآن في عالم تكون فيه البيانات ذات قيمة وتكون بعض الشركات الأكثر قيمة ذات قيمة لأنها
‫تجمع البيانات.
‫تبيع شركات مثل Facebook و Google البيانات لكسب المال.
‫أنها توفر المنتجات للعملاء باستخدام البيانات لتحسين منتجاتهم.
‫البيانات هي الذهب الجديد.
‫لذلك تهتم الشركات لأنه من خلال فهم بياناتها يمكن أن تكون جزءًا من المنتج ، مثل إنشاء محرك
‫توصيات على YouTube.
‫يمكننا أن نسأل عما إذا كانت الشركة تعمل بشكل جيد لمراقبة إحصائيات مبيعات الشركة ، ويمكنك أيضًا استخدام البيانات لتحسين
‫الشركة والسؤال ، هل يمكننا القيام بعمل أفضل؟
‫ما الذي يمكننا تحسينه؟
‫كيف يمكننا جعل تطبيقاتنا أسرع؟
‫لذلك تهتم الشركات كثيرًا بالبيانات ، لكني أريد أن أستغرق بعض الوقت لفهم ما يفعله مهندسو
‫البيانات حقًا من خلال معالجة هذه البيانات أو جمعها.
‫لذلك دعونا نتحدث عن الأنواع الأربعة المختلفة من البيانات.
‫تعلمنا أن هناك أشياء تسمى البيانات المنظمة.
‫الآن ، هذه هي البيانات التي تم تنظيمها جيدًا حتى نفهمها ونقرأها لأن البيانات يتم جمعها
‫بطرق مختلفة من مصادر مختلفة.
‫حق؟
‫ولكن بمجرد استخدام الكمبيوتر ، توجد طريقة قياسية عادةً في الجدول أو ما نسميه المصفوفة ، وهو الجدول
‫الذي يسهل قراءته.
‫عادةً ما تكون السمات عبارة عن أعمدة وتكون الصفوف عادةً حالات ، وأحيانًا يكون لدينا مخرجات في العمود
‫الموجود في أقصى اليمين ، كما رأينا في التعلم الآلي حيث نتوقع مخرجات بناءً على المدخلات
‫والهيكل.
‫عادةً ما تأتي البيانات من أشياء مثل قواعد البيانات العلائقية مثل الرسوم البيانية المنشورة في MySQL وقواعد البيانات العلائقية
‫الأخرى التي تسمح لنا بالقيام بشيء يسمى استعلامات SQL.
‫أي ، لأداء إجراءات على بيانات الهيكل لجمع المعلومات.
‫ثم هناك بيانات شبه منظمة.
‫لا تزال هناك بيانات منظمة ، ولكن غالبًا في شيء مثل XML CSV ، والذي رأيناه أو نموذج JSON.
‫وهذه مجرد امتدادات مختلفة وطرق مختلفة لتخزين البيانات في ملفات مختلفة.
‫على سبيل المثال ، مواقع الويب المشهورة حقًا للاستيلاء على البيانات المفتوحة عبر الإنترنت والعثور على مجموعات البيانات ، وربما حتى
‫إجراء مسابقات ، أو الاطلاع على دفاتر ملاحظات الآخرين والتحدث عن موضوعات التعلم الآلي.
‫حسنًا ، يتيح لنا Kaggle إلقاء نظرة فعلية على مجموعات البيانات المتاحة لنا لاستخدامها واللعب بها.
‫وهنا إذا كتبت شيئًا مثل XML.
‫ستعطيني جميع المعلومات أو جميع البيانات.
‫لنجعل هذا أكبر في تنسيق XML.
‫لذلك ، على سبيل المثال ، إذا قمت بالنقر فوق صور خلايا الدم.
‫و انا.
‫ألق نظرة هنا.
‫أرى أن مصادر البيانات ، هناك بعض ملفات CSV ، ولكن هناك أيضًا بعض ملفات XML.
‫وإذا قمت بالتمرير لأسفل ، فهناك أيضًا بعض الصور.
‫لذلك يمكننا استخدام تنسيقات مختلفة من البيانات.
‫بالمناسبة ، إذا قمت بالنقر فوق عامل التصفية هنا ، فسترى بالفعل بعض أنواع الملفات المتاحة للبيانات.
‫الآن نحن نعرف عن CSPs.
‫هناك أيضًا JSON حيث JSON ، إذا ألقينا نظرة ودعنا نذهب إلى أنماط البيرة هذه.
‫إذا قمت بالتمرير لأسفل ، فسنرى أنه بتنسيق JSON وتنسيق JSON.
‫يمكنك أن ترى هذه الشجرة مثل الهيكل لاستكشاف البيانات.
‫لذا فهي مختلفة قليلاً عن CSV ، إنها مجرد طريقة أخرى لتنظيم البيانات.
‫كما ذكرت.
‫في Kaggle ، ستجد كل هذه الأنواع من مجموعات البيانات التي تستخدم أشياء مختلفة.
‫SQL Light ، على سبيل المثال ، هو نوع من قواعد البيانات ويستخدم SQL ، وبالتالي البيانات المهيكلة.
‫لذلك إذا قمت بإجراء SQL Lite هنا وبحثت عن شيء ما باستخدام قواعد البيانات العلائقية.
‫سترى أن هذا يستخدم SQL.
‫ويخبرنا ما هو نوع الاتصال به.
‫هناك الكثير من الطرق لاستكشاف Kaggle ، ولكن هذين النوعين من البيانات عادةً ما يكونان منظمين
‫جيدًا ويسهل علينا التعامل معه باستخدام أدوات مثل pandas for CSPs.
‫ويمكنك بالفعل استخدام لغة SQL أيضًا مع حيوانات الباندا.
‫النوع الثالث هو البيانات غير المهيكلة.
‫وقد ذكرت دانييل هذا بالفعل ، أليس كذلك؟
‫فكرة البيانات غير المهيكلة هذه جيدة ، فهي ليست عادةً بتنسيقات بسيطة يمكننا معالجتها
‫وتحليلها بسهولة.
‫غالبًا ما تكون هذه أشياء مثل رسائل البريد الإلكتروني أو ملفات PDF أو أي نوع من المستندات التي ربما يكون فهمها
‫فعليًا أكثر صعوبة قليلاً.
‫إنه غير منظم.
‫أخيرًا ، لدينا بيانات ثنائية.
‫هذه أشياء مثل ملفات الصوت وملفات الصور وملفات الفيديو.
‫إنهم في نظام ثنائي.
‫هذه هي الآحاد والأصفار التي يمكن لأجهزة الكمبيوتر فهمها.
‫لكن بالنسبة لنا لتصنيفهم ، هذا صعب حقًا.
‫كما ترى ، ينتقل من أعلى إلى أسفل.
‫من بيانات منظمة حقًا وذات تصنيف جيد إلى شيء يصعب تنظيمه قليلاً ، خاصة بالنسبة
‫للآلات.
‫فلماذا يجب أن نتحدث عن هذه الأنواع الأربعة من البيانات؟
‫حسنًا ، لأن معظم الشركات.
‫كلما زاد حجمهم لن يكون لديهم بيانات منظمة فحسب ، بل سيكون لديهم جميع أنواع البيانات ، وجميع
‫أنواع المدخلات التي تحتاج إلى العمل معًا بطريقة أو بأخرى.
‫لذا فإن إحدى وظائف مهندس البيانات هي استخدام حقيقة وجود كل هذه الأنواع من البيانات
‫والجمع بينها بطريقة أو بأخرى أو تنظيمها بطريقة مفيدة للأعمال.
‫لنأخذ استراحة هنا ونستكشف المزيد في الفيديو التالي.