‫نمذجة الجزء الرابع.
‫هذا هو الجزء الأخير من النمذجة ومقارنتها.
‫الرغبة في معرفة كيفية أداء نموذجنا في العالم الحقيقي.
‫لذلك بعد أن تقوم بتحسين أداء النموذج الخاص بك وتحسينه من خلال الضبط المفرط للمعلمات ، فقد
‫حان الوقت لمعرفة كيفية أدائه في مجموعة الاختبار.
‫مجموعة الاختبار مثل الاختبار النهائي لنماذج التعلم الآلي.
‫إذا قمت بإنشاء تقسيمات البيانات الخاصة بك بشكل صحيح ، فيجب أن تعطيك إشارة إلى كيفية أداء النموذج
‫الخاص بك بمجرد نشره في الإنتاج.
‫هذا يعني مواجهة العميل بدلاً من مجرد وجوده على جهاز الكمبيوتر المحلي الخاص بك.
‫نظرًا لأن نموذجك لم ير بيانات في مجموعة الاختبار مطلقًا ، فإن تقييم النموذج الخاص بك عليه يعد طريقة جيدة
‫لمعرفة كيفية تعميمه.
‫وتذكر ، من خلال التعميم ، أعني التكيف مع البيانات التي لم ترها من قبل ، مثل كيفية أداء نموذج
‫التعلم الآلي للتنبؤ بأمراض القلب في تصنيف ما إذا كان المريض مصابًا بمرض في القلب أم
‫لا على مريض لم يكن في منطقتنا الأصلية مجموعة البيانات.
‫سيعطي النموذج الجيد نتائج مماثلة في مجموعات التدريب والتحقق والاختبار ، وليس من غير المألوف أن ترى
‫انخفاضًا طفيفًا في الأداء من النموذج في مجموعة التدريب والتحقق من الصحة إلى مجموعة الاختبار.
‫على سبيل المثال ، قد يحقق نموذجك دقة 98٪ على مجموعة بيانات التدريب و 96٪ دقة على مجموعة الاختبار.
‫ما يجب أن تقلق بشأنه هو ما إذا كان أداء مجموعة التدريب أعلى بشكل كبير من مجموعة الاختبار ، والمعروفة
‫أيضًا باسم غير الملائم.
‫وإذا كان أداء مجموعة الاختبار أعلى من أداء مجموعة التدريب المعروف أيضًا باسم overfitting.
‫ملاءمة وعدم ملاءمة كلا المثالين لنموذج غير قادر على التعميم بشكل جيد ، وهو
‫ما لا نريده.
‫يظهر النموذج المثالي في منطقة Goldilocks.
‫انها مناسبة تماما.
‫ليس جيدًا ، لكن ليس سيئًا جدًا.
‫ترى هنا نموذج التعلم الآلي هذا ، إذا كانت هذه هي بياناتك ، نقاط البيانات الخضراء هذه
‫، هذا الخط هنا ، نوع يناسب الشكل.
‫لكن هذا سيصنف على أنه غير مناسب.
‫ليس هذا ما نريد أن يفعله نموذجنا.
‫وهذا هنا ، حسنًا ، يقوم بعمل جيد في ملاءمة جميع نقاط البيانات ، لكنه
‫قريب جدًا.
‫يكاد يكون نموذجًا مثاليًا للغاية.
‫انها مجرد ثعبان بينهما.
‫لذا فإن هذا المثال يعني أن النموذج قد تعلم الأنماط جيدًا في مجموعة البيانات هذه.
‫سيكون الأمر أشبه برؤية الاختبار النهائي قبل إجراء الاختبار النهائي فعليًا.
‫هذا واحد هنا هو منطقة المعتدل.
‫الصحيح.
‫هذه عملية تكرارية حيث تشبه منطقة Goldilocks هذه نموذجًا متوازنًا.
‫نحن نعتمد حقًا على بياناتك والمشكلة التي تحاول حلها.
‫لهذا السبب ، مرة أخرى ، إنها عملية تكرارية ، إيجاد هذه المنطقة المتوازنة.
‫والآن بعد بعض الخبرة والممارسة في العمل على مشكلات مختلفة في التعلم الآلي ، ستتمكن
‫من البدء في معرفة ما إذا كان نموذجك مناسبًا أو غير مناسب.
‫يوجد الآن العديد من الأسباب التي قد تؤدي إلى حدوث عدم ملاءمة أو زيادة في الملاءمة ، ولكن الأسباب الرئيسية هي
‫تسرب البيانات وعدم تطابق البيانات.
‫يحدث تسرب البيانات عندما تتسرب بعض بيانات الاختبار الخاصة بك إلى بيانات التدريب الخاصة بك ، وغالبًا ما ينتج عن ذلك زيادة
‫في التجهيز أو أداء نموذج أفضل في مجموعة الاختبار مقارنة بمجموعة بيانات التدريب.
‫تذكر ، كان الأمر كما لو كنت ستلقي نظرة على الاختبار النهائي أو كان على الجميع أن ينظر إلى الاختبار
‫النهائي على أنه اختبار تدريبي ، فقد تعلم نموذج التعلم الآلي الخاص بك للتو ما هو على وشك الاختبار
‫عليه.
‫لذلك عندما يحين وقت النمذجة ، فقد تعلمت ذلك جيدًا وتبدأ في ملاءمة البيانات
‫مثل هذه.
‫وهذا هو سبب أهمية إجراء الانقسامات بشكل صحيح والتأكد من أن تدريب نموذج التعلم الآلي
‫يحدث فقط على مجموعة بيانات التدريب.
‫يحدث التحقق من الصحة وضبط النموذج فقط في مجموعة بيانات التحقق أو التدريب.
‫ويحدث هذا الاختبار ومقارنة النموذج على مجموعة بيانات الاختبار.
‫وأتذكر بعض الأساليب المختلفة.
‫استخدم فقط مجموعة التدريب والاختبار وقم بضبط النموذج على مجموعة التدريب.
‫لكن الاختبار يظل دائمًا كما هو.
‫يبدو الأمر كما لو أنك عندما تذهب إلى الجامعة ، فأنت تقوم بدورة.
‫تريد التأكد من أن الاختبار النهائي هو نوع من الإشارة إلى مدى فهمك للأشياء.
‫نفس الشيء مع مجموعة بيانات الاختبار للتعلم الآلي.
‫تُستخدم مجموعة بيانات الاختبار كمؤشر لمدى تعميم نموذجك في العالم الحقيقي.
‫لذلك تريد تجنب تسرب البيانات.
‫يحدث عدم تطابق البيانات عندما تختلف البيانات التي تختبرها عن البيانات التي تتدرب عليها
‫، مثل وجود ميزات مختلفة في بيانات التدريب عن بيانات الاختبار.
‫يمكن أن يؤدي وجود هذا النوع من عدم التطابق إلى ضعف أداء النماذج في بيانات الاختبار مقارنةً ببيانات التدريب.
‫هذا هو السبب في أنه من المهم التأكد من إجراء التدريب على نفس نوع البيانات التي
‫ستختبرها وأقرب ما يمكن إلى ما ستستخدمه في تطبيقاتك المستقبلية.
‫تشمل الطرق الأخرى لمكافحة عدم الملاءمة استخدام نموذج أكثر تقدمًا.
‫قد يعني هذا نموذجًا مختلفًا تمامًا أو زيادة عدد المعلمات الفائقة في نموذجك الحالي.
‫تذكر أنه عندما نقوم بطهي طبق الدجاج الخاص بنا ، قد نغير أحد المعايير الفائقة لفرننا
‫عن طريق رفعه.
‫قد يكون هذا شيئًا يمكنك القيام به على نموذج التعلم الآلي بدلاً من استخدام طبقتين فقط في
‫الشبكة العصبية التي قد تستخدمها من أجلها.
‫سنرى المزيد من هذا في مشروع مستقبلي.
‫يمكنك أيضًا تقليل عدد الميزات التي تحاول تصميمها.
‫ربما تحتوي بياناتك على العديد من الميزات ، والنموذج الذي تستخدمه يكافح للعثور على أنماط فيها.
‫أخيرًا ، يمكنك تدريب نموذجك لفترة أطول.
‫أحيانًا تستغرق العارضات وقتًا أطول للتدريب أو وقتًا أطول للتعلم مما تتوقع.
‫قد تتضمن إحدى تجاربك مرحلة تدريب أطول.
‫لتقليل فرط التجهيز.
‫الحلول المفيدة هي جمع المزيد من البيانات.
‫ستوفر المزيد من البيانات أنماطًا أكثر احتمالية للعثور على نموذج وبالتالي تقليل احتمالية العثور
‫عليها جميعًا.
‫أو يمكنك محاولة استخدام نموذج أقل تقدمًا.
‫هذا غير شائع ، لكنه احتمال.
‫النموذج الذي تستخدمه جيد جدًا في التعلم وهو يصمم بياناتك جيدًا.
‫كن حذرًا من أداء النماذج جيدًا لأنها قد تؤدي إلى تنبؤات غير صحيحة.
‫تذكر أنه لا يوجد نموذج مثالي ، لذا تأكد من التحقق من نتائجك الجيدة بقدر ما تتحقق من نتائجك
‫السيئة.
‫أخيرًا ، عند مقارنة نموذجين مختلفين مع بعضهما البعض ، من المهم التأكد من مقارنة
‫التفاح مع التفاح والبرتقال بالبرتقال ، على سبيل المثال.
‫النموذج الثاني متدرب على البيانات.
‫قم بتعيين واحد مقابل النموذج الثالث المدربين على البيانات ، قم بتعيين واحد.
‫وأثناء المقارنة ، تريد التأكد من أنك لا تأخذ في الاعتبار النتيجة النهائية فحسب ، بل ما يتطلبه الأمر
‫للوصول إلى هناك.
‫إذا استغرق النموذج الثاني 1/2 لعمل توقع عند 93. 1٪ دقة.
‫يستغرق النموذج الثالث 4 ثوانٍ لعمل توقع عند 94. 7 دقة.
‫هل هذه الدقة الإضافية بنسبة 3٪ تستحق 3 ثوانٍ إضافية من وقت التوقع؟
‫الآن ، سيعتمد هذا على الهدف ، ولكن إذا كنت تقوم بتحسين وقت التنبؤ ، فأنت تريد إجراء
‫تنبؤات بأسرع ما يمكن.
‫قد تختار النموذج الثاني لأنه يقوم بعمل تنبؤات أسرع أربع مرات من النموذج الثالث
‫، ولكن بمستوى دقة أعلى.
‫مرة أخرى ، سيكون هذا مختلفًا اعتمادًا على نوع التطبيق أو حالة استخدام الإنتاج التي تريد استخدامها.
‫لكن فقط بعض الأشياء التي يجب وضعها في الاعتبار هي أكثر من مجرد كيفية أداء النموذج والتي تدخل في اختيار النموذج
‫الذي يجب عليك استخدامه.
‫هناك أمران تريد أن تتذكرهما من هذا الدرس: تجنب الإفراط في الملاءمة وعدم الملاءمة.
‫تريد نموذجًا يتجه نحو العمومية.
‫يبدو الأمر كما لو كنت تقوم بالامتحان التدريبي ، إذا رأيت الاختبار النهائي ، فقد تصبح مجرد آلة
‫حفظ خبيرة بدلاً من شخص يمكنه استخدام معرفته في العالم الحقيقي.
‫احتفظ بمجموعة الاختبار منفصلة بأي ثمن.
‫عندما تقوم بتقسيم بياناتك ، فأنت تريد الحصول على مجموعة تدريب ثم التخلص من مجموعة بيانات الاختبار
‫وإغلاقها.
‫وبمجرد أن يتم تدريب النموذج الخاص بك ، يمكنك فتح مجموعة بيانات الاختبار ، ويمكنك
‫فتحها ، وإخراجها من الخزنة ومعرفة كيفية أداء نموذجك عند مقارنة النماذج.
‫قارن التفاح بالتفاح ، احصل على النموذج الأول والنموذج الثاني على البيانات ، وقم بتعيين واحد ومجموعة بيانات واحدة.
‫تريد التأكد من أن النموذجين اللذين تقارنتهما قد تم إنشاؤهما في نفس النوع
‫من البيئة بحيث يمكنك التأكد من أن ما تقارنه هو مقارنات شرعية.
‫أخيرًا ، لا يساوي مقياس أداء واحد أفضل نموذج.
‫تذكر ، في مثالنا ، ربما تقوم بتحسين وقت التنبؤ.
‫لذلك على الرغم من أن النموذج الذي يقوم بالتنبؤ بشكل أسرع لا يحصل على دقة عالية مثل نموذج آخر يستغرق
‫وقتًا أطول قليلاً.
‫قد لا يهمك ذلك لأنك بحاجة إلى شيء يمكنه التنبؤ بأسرع ما يمكن.
‫Phew ، كان هذا كثيرًا ، لكننا سنرى الكثير من هذا أثناء العمل خلال الدورة التدريبية.
‫ستستخدمه أيضًا طوال مسيرتك المهنية في التعلم الآلي ، لذلك من المهم أن تتذكر
‫هذه المفاهيم.
‫دعنا ننتقل إلى الخطوة التالية ونرى كيف يمكننا وضع كل هذه الخطوات السابقة معًا في الخطوة السادسة
‫من التجربة.