‫لذا فإن مقياس تقييم نموذج التصنيف النهائي الذي سنلقي نظرة عليه هو تقرير
‫التصنيف.
‫والآن يعد تقرير التصنيف أيضًا مجموعة من مقاييس التقييم المختلفة وليس مقياسًا
‫واحدًا.
‫هذا هو المكان الذي يأتي منه التقرير.
‫إنه نوع من تقرير يعود لعدد من المعلمات المختلفة التي تقيم نموذج التصنيف الخاص بنا.
‫دعونا نرى.
‫واحد في العمل.
‫إذن من تقرير تصنيف استيراد Skyline Dot Matrix.
‫للقيام بذلك.
‫نحن فقط نضع بعض الملصقات الحقيقية.
‫تمام.
‫اختبار ص وبعض التوقعات.
‫مرة أخرى ، يقارن مقياس التقييم هذا فقط التسميات الحقيقية لبياناتنا مقابل التوقعات التي
‫قدمها نموذجنا.
‫لذلك دعونا نرى ما يحدث هنا.
‫حسنا.
‫هناك عدد قليل من الأشياء التي تحدث.
‫لقد حصلنا على استدعاء دقيق لدرجة F1 تدعم الصفر ، ربما يكون ذلك للفئة صفر أربعة ، وليس لمرض القلب
‫واحد.
‫ربما هذا لمرض القلب.
‫إذا نزلنا ، فلدينا الدقة.
‫0. 75 متوسط الماكرو.
‫متوسط الوزن.
‫همم.
‫ماذا يحدث هنا؟
‫حسنًا ، دعنا ننتقل إلى كلمتنا الرئيسية ونلقي نظرة على تقرير التصنيف الخاص بنا ، علم التشريح.
‫هنا ، نرى أن لدينا نفس الشيء.
‫مجرد استيراد تقرير التصنيف.
‫لقد أجرينا واحدة على ملصقات الاختبار والتنبؤات ، وبعض الأرقام مختلفة قليلاً هنا.
‫ماذا يوجد في دفتر ملاحظاتنا؟
‫لكن لا مشكلة.
‫إذن ما هو الدقة أو الدقة يشير إلى نسبة التعريفات الإيجابية.
‫لذا أ. ك. (أ) توقع النموذج الفئة الأولى ، والتي كانت صحيحة بالفعل.
‫الآن ، النموذج الذي لا ينتج عنه ايجابيات خاطئة لديه دقة واحدة.
‫هذا هو المكان الذي يمكننا فيه رؤية نتائج الدقة.
‫إذا لم يقدم النموذج أي إيجابيات خاطئة ، ونحن نعلم أن نموذجنا لم ينتج
‫عنه لأننا نظرنا إلى التصنيف أو مصفوفة الارتباك ورأيناها مشوشة في بعض الأمثلة وتوقعت أنها
‫إيجابية كاذبة.
‫لذا فإن درجات الدقة لدينا أقل قليلاً من واحد.
‫الآن التالي هو التذكر.
‫لذا يشير الاستدعاء إلى نسبة الإيجابيات الفعلية التي تم تصنيفها بشكل صحيح.
‫الآن ، النموذج الذي لا ينتج عنه سلبيات خاطئة لديه استدعاء لـ 1. 0.
‫ومرة أخرى ، نعلم من مصفوفة الارتباك أن الأمر ليس كذلك.
‫لذا فإن تذكرنا أقل قليلاً.
‫الآن F1 يسجل مزيجًا من الدقة والاستدعاء.
‫النموذج المثالي يحقق درجة F1 من 1. 0.
‫حسنًا ، عندما نرى أن درجة F1 ليست 1. 0 ، لكنه لا يزال مرتفعًا نسبيًا ، إذا ذهبنا إلى الدعم.
‫تم حساب عدد العينات لكل مقياس.
‫لذلك نرى هنا.
‫هذا يعني أننا ننظر إلى هذا العدد 29.
‫إذا نظرنا إلى ذلك ، فسنجد أن هذا يساوي أربعة أصفار ويساوي هنا 61 بالأسفل.
‫هذا يعني أن هذه المقاييس هنا تم حسابها على 61 عينة مختلفة.
‫وهذه المقاييس هنا ستحسبها على 29 عينة ، والتي كان تصنيفها صفرًا ، وأن
‫هذا هو 32 مع تصنيف الفئة واحد.
‫حسنًا ، مصاب بمرض في القلب.
‫وبالتالي ، إذا جمعت هذين العدد الإجمالي 29 زائد 32 ، فستحصل على 61.
‫الآن ، الدقة ، لقد رأينا ذلك من قبل.
‫هذه مجرد دقة النموذج في شكل عشري.
‫الدقة المثالية هي 1. 0 المعروف أيضًا أن نموذجنا يقوم بالتنبؤات بشكل صحيح بنسبة 100٪ من الوقت.
‫إذا كانت الدقة هي 1. 0 ، ثم نلقي نظرة على المتوسط الكلي.
‫الآن ما هذا؟
‫إنه اختصار لمتوسط الماكرو ، كما قد تكون خمنت.
‫لذلك فهو متوسط استدعاء الدقة ونتائج F1 بين الفئات.
‫الآن المفتاح هنا هو أن متوسط الماكرو لا يأخذ فئة ويجب أن يكون التوازن في هذا الأمر مؤثرًا أو
‫مؤثرًا.
‫لذا تخيل أن هذا عدد.
‫لذلك إذا كان لديك اختلالات في الفصل ، فاحرص على الانتباه إلى هذا المقياس.
‫حسنًا ، في حالتنا ، ما سبب عدم توازن الطبقة؟
‫حسنًا ، إذا نظرت إلى مثالنا ، فليس لدينا اختلالات في الفصل هنا.
‫لماذا هذا؟
‫حسنًا ، لأن لدينا نفس الكمية نسبيًا من العينات من الفئة صفر والفئة الأولى.
‫حصلنا على المعنى حوالي 5050 منقسم هنا.
‫إنه ليس بالضبط 5050 ، لكن ليس لدينا 60 مثالًا من الفئة الأولى ومثال واحد للفئة
‫صفر.
‫إذن لدينا حوالي 30 في كل منها.
‫لذلك إذا كان لديك اختلالات في الفصل ، فأنت تريد حقًا التحقق من متوسط الماكرو الآن
‫لأن مثالنا ، الفصول متوازنة نسبيًا.
‫هذا هو السبب في أن المتوسط الكلي والمتوسط المرجح المتوسط المرجح لأربعة متوسطات متوسط مرجح
‫، والمتوسط المرجح هو استدعاء دقيق ، وتعني درجة F واحدة بين الفئات الموزونة أن كل
‫مقياس يتم حسابه فيما يتعلق بعدد العينات في كل فئة.
‫لذا فإن هذا المقياس سيفضل فئة الأغلبية.
‫على سبيل المثال ، سوف نعطي قيمة عالية عندما يتفوق أحد الصفوف على الآخر بسبب وجود المزيد من العينات.
‫لذلك هذا هو السبب في أن قيمنا هنا.
‫مشابه تمامًا لأن لدينا صفوفًا متوازنة.
‫الآن قد تفكر في ما هو نوع الموقف الذي ستكون فيه هذه القيم خارجة عن السيطرة ، أليس كذلك؟
‫مثل أين سيحدث هذا؟
‫وربما تفكر أيضًا ، لقد تعلمنا مجموعة كاملة من المقاييس المختلفة هنا.
‫نعود إلى دفتر ملاحظاتنا.
‫لقد تجاوزنا تقارير التصنيف ، وقمنا بعمل مصفوفة الارتباك ، وقمنا بالدقة ، وقمنا بمنطقة
‫تحت منحنى ROC.
‫إذن متى يجب علي استخدام كل من هذه؟
‫لذا فقد مررنا بها نوعًا ما.
‫قد يكون من المغري التفكير ، حسنًا ، لماذا لا أتخلى عن كل هذه الأشياء
‫الأخرى التي أجد صعوبة في استيعابها واستخدام الدقة جيدًا.
‫لنأخذ مثالا.
‫دعونا نرى متى تدخل المقاييس الأخرى حيز التنفيذ.
‫وربما لا يجب عليك فقط استخدام الدقة لأن هذا فخ وقعت فيه بشكل صحيح عندما
‫بدأت لأول مرة في بناء نماذج التصنيف ، كنت مثل ، نعم ، نموذجي يحصل على دقة تزيد عن 90 بالمائة.
‫يجب أن يكون نموذجًا رائعًا.
‫دعونا نرى سيناريو.
‫على سبيل المثال ، لنفترض أنه كان هناك 10000 شخص وكان أحدهم مصابًا بمرض ، وقد طُلب منك بناء
‫نموذج للتنبؤ بمن لديه هذا المرض.
‫حسنا.
‫لذلك دعونا نفعل ذلك بالفعل.
‫دعونا نبرمج هذا.
‫هذا هو المكان الذي تصبح فيه الدقة والتذكر ذات قيمة.
‫وفي الواقع ، تصبح جميع المقاييس الواردة في تقرير التصنيف الخاص بنا ذات قيمة هنا.
‫حتى المرض.
‫حقيقي.
‫لذلك كان هناك 10000 شخص وكان أحدهم مصابًا بمرض.
‫لذا ما قد نفعله هو إنشاء مجموعة حكم من 10000 شخص ومن ثم قد نغير أحد هؤلاء.
‫أستطيع أن أتهجى المرض.
‫لذا فإن المؤشر الصفري للمرض يساوي واحدًا.
‫لذلك هناك حالة موجبة واحدة فقط.
‫ثم إذا أتينا إلى هنا وقلنا أن نموذجنا تنبأ به أو أن انتشار المرض يساوي NP Zero 10000.
‫الآن هذا يعني أن النموذج يتنبأ بكل حالة على أنها صفر.
‫حسنا.
‫ثم ما سنفعله هو إنشاء إطار بيانات حتى نتمكن من تصور تقرير التصنيف هذا.
‫ما هذا ما فعله نموذجنا.
‫حق؟
‫هذا ما يحدث هنا.
‫مرض.
‫حقيقي.
‫إذن ، هناك حالة موجبة واحدة فقط ، واحدة من كل 10000.
‫ونحن نبني نموذجًا ويتنبأ نموذجنا بأن كل حالة على حدة هي صفر.
‫لذا فقد فاته التنبؤ الوحيد.
‫ماذا سيحدث إذا قمنا ببناء تقرير تصنيف حتى نصاب بالمرض.
‫حقيقي.
‫وصلنا إلى هنا.
‫ينتشر المرض.
‫أريد تمرير هذه المعلمة الصغيرة بحيث تتناسب بشكل جيد مع إطار البيانات.
‫لذلك الناتج ديكت يساوي من خلال.
‫حسنا.
‫لذا.
‫ماذا يحصل هنا.
‫ننظر إلى هذا ، هذا مجرد تنسيق آخر لتقرير التصنيف هذا هنا.
‫إذا لم نفعل هذا.
‫من شأنه أن يخطئ.
‫لذلك هذا فقط لتصور ما يحدث.
‫حقيقي.
‫هذا مثال رئيسي ، صحيح ، على المكان الذي تريد استخدام مقياس آخر غير الدقة فيه عندما يكون
‫لديك عدم توازن كبير جدًا في الفئة.
‫إذن في حالتنا ، لدينا عدم توازن هائل في الفئة لأنه في مجموعة بياناتنا الأصلية ، هل هذه تساوي
‫صحيحة؟
‫يوجد مثال واحد فقط ، لذا هناك مثال واحد فقط على المكان الذي ستكون فيه التسمية واحدة وكل شيء آخر يساوي
‫صفرًا.
‫لقد بنينا نموذجًا يتنبأ فقط بصفر لكل حالة ، أليس كذلك؟
‫لأنها مجرد عينة واحدة.
‫لذلك من الصعب حقًا معرفة أن هناك نمطًا لهذه الحالة بالذات.
‫وما يحدث هو أننا إذا قمنا بقياس الدقة فقط على نموذجنا الذي تم توقعه صفرًا
‫لكل شيء ، فإنه يأتي بدقة 0. 99 أو بعبارة أخرى ، 99٪.
‫لذا اسأل نفسك ، على الرغم من أن النموذج يحقق 99. دقة 99٪ ، هل النموذج لا يزال مفيدًا؟
‫الصحيح.
‫لهذا السبب ننظر إلى هذه المقاييس الأخرى مثل متوسط الماكرو.
‫هذا هو المكان الذي يمكننا فيه رؤية نماذجنا تتساقط هنا.
‫فيما يتعلق بالدقة ، لا تحصل في الواقع على دقة صفرية للفئة الأولى ، وهو أمر منطقي لأنها
‫لم تتنبأ حتى بالفئة الأولى.
‫وهنا تحصل بشكل أساسي على 100٪ في الفئة صفر لأنها تنبأت فقط بالفئة صفر.
‫إذن هذا نوع من سيناريو حالة الاستخدام حيث تريد التأكد من أنك تستخدم مجموعة واسعة
‫من مقاييس التقييم لنماذج التصنيف الخاصة بك وليس الدقة فقط.
‫والآن ، تطرقنا للتو إلى بعض المقاييس التي يمكنك استخدامها لتقييم خوارزمية
‫التصنيف ، ولكن هناك القليل منها.
‫لذلك إذا كنت تريد إلقاء نظرة على المزيد ، فنحن نذهب هنا ، وتقييم النموذج ، والمقبس ، والتعلم.
‫سننظر في الوثائق.
‫إذا أتيت إلى هنا ، فهذا القليل من المنهج الدراسي الإضافي هو إلقاء نظرة على هذا القسم هنا.
‫لذلك كل ما فعلته هو الذهاب إلى وثائق قرض المقبس لتقييم النموذج.
‫لقد وصلنا إلى التصنيف ، يمكننا أن نرى القليل هنا ، تلك التي غطيناها.
‫وبالتالي فإن تلك التي قمنا بتغطيتها هي على الأرجح الحد الأدنى الذي تريد استخدامه ، أليس كذلك؟
‫لذا منطقة الدقة تحت منحنى الصخور أو مصفوفة ارتباك AUC وتقرير التصنيف.
‫لذا احتفظ بها في حقيبة الأدوات الخاصة بك وإذا كنت بحاجة إلى المزيد ، فتأكد من الرجوع إلى الوثائق.
‫لذلك هذا سوف يختتم مقاييس التقييم الخاصة بالتصنيف.
‫دعنا نتعمق في القسم التالي حيث سنلقي نظرة على بعض مقاييس تقييم نموذج الانحدار الأكثر
‫تحديدًا.