‫لقد قمنا الآن بتغطية الدقة كطريقة لتقييم نماذج التصنيف لدينا ، وربما تفكر ، لماذا
‫لا يمكننا تركها عند هذا الحد؟
‫حسنًا ، عندما نبدأ في استعراض هذه المقاييس الأخرى هنا ، ستبدأ في فهم سبب أهمية الحصول
‫على بعض مقاييس التقييم المختلفة على السبورة بدلاً من الدقة فقط.
‫في حالتي ، عندما كنت أتعلم لأول مرة كيفية بناء نماذج التصنيف ، كنت أفكر دائمًا ، نعم ، الدقة
‫العالية هي الأفضل ، أليس كذلك؟
‫وبعد ذلك ببطء ، بعد النظر إلى أمثلة مختلفة ، بدأت أدرك ، حسنًا ، الآن أرى قيمة
‫استخدام مقاييس أخرى مثل هذه ، لكن دعونا لا نتحدث عنها.
‫دعونا نراه في العمل.
‫المرحلة التالية التي سنقوم بتغطيتها هي المنطقة الواقعة تحت تشغيل جهاز الاستقبال ، لذلك المنطقة الواقعة أسفل
‫منحنى خاصية تشغيل جهاز الاستقبال.
‫الشيء الجميل هو أنه يُعرف أيضًا باسم AUC ، لذا فإن المنطقة الواقعة تحت المنحنى أو الصخور حتى خاصية تشغيل جهاز الاستقبال.
‫لذلك دعونا نفعل هذا المنحنى الصخري.
‫هذان هما الشيءان اللذان ستبحثهما عن المنطقة الواقعة تحت المنحنى أو منحنى الصخور
‫ربما نضعها هنا هل ترى أو منحنى صخرة جميل.
‫لذا إذا سمعت شخصًا يتحدث عن أيوك أو صخرة أو صخرة أو شيء من هذا القبيل ، فمن المحتمل أنه
‫يتحدث عن هذا المقياس هنا.
‫الآن ، ما الذي يقيسه منحنى الصخور؟
‫حسنًا ، بالتعريف الرسمي ، فإن منحنى الصخور هو مقارنة بين المعدل الإيجابي الحقيقي للنموذج ، أ. ك. TPR مقابل المعدل الإيجابي
‫الكاذب للنموذج.
‫دعنا نكتب ذلك.
‫فيما يلي مقارنة بين المعدل الإيجابي الحقيقي للنموذج ، والذي يُعرف أيضًا باسم TPR مقابل الإيجابية الزائفة
‫للنموذج.
‫Right ، والذي يُعرف أيضًا باسم FPI.
‫الآن ، قد تتساءل ، حسنًا ، ما هو صحيح إيجابي وما هو إيجابي كاذب؟
‫حسنًا ، دعنا نلقي نظرة هنا.
‫نموذج النسور الإيجابي الحقيقي يتنبأ عندما تكون الحقيقة واحدة.
‫هل هذا منطقي؟
‫لذلك في حالتنا ، إذا نظرنا إلى الأعلى هنا ، إذا كانت أهدافنا واحدة أو صفرًا ، فإن الإيجابي الحقيقي هو عندما
‫يتنبأ نموذجنا بواحد.
‫التسمية الحقيقية هي واحدة.
‫تمام.
‫نعم ، هذا منطقي.
‫لذلك إذا ذهبنا إلى هنا ، فإن النتيجة الإيجابية الخاطئة هي أن النموذج يتنبأ عندما تكون الحقيقة صفرًا.
‫فلماذا يطلق عليه إيجابية كاذبة؟
‫حسنًا ، هذا لأنه يتنبأ بواحد.
‫لذا.
‫حسنًا ، الفئة الإيجابية مصابة بأمراض القلب بينما الحقيقة هي في الواقع صفر.
‫لذلك فهو يعطينا إحساسًا إيجابيًا خاطئًا بأن الشخص قد يكون مصابًا بمرض القلب في حالتنا
‫الخاصة ، لمشكلة تصنيف أمراض القلب لدينا.
‫ثم إذا ذهبنا هنا إلى سالب حقيقي.
‫يذهب النموذج ويتنبأ بالصفر عندما تكون الحقيقة صفراً.
‫لذلك هذا منطقي.
‫إذاً هذا هو توقع حصول النموذج على التنبؤ الصحيح هناك.
‫إنه يتنبأ بأن شخصًا ما لا يعاني من أمراض القلب في حين أنه في الواقع لا يعاني.
‫ذلك رائع.
‫ثم يتنبأ نموذج يساوي سالب خاطئ.
‫ما رأيك سيكون هذا؟
‫خطأ شنيع.
‫سلبي.
‫نحن ننظر إلى إيجابية كاذبة.
‫السلبية الخاطئة هي عندما يتنبأ النموذج بالصفر عندما تكون الحقيقة واحدة.
‫هذا لأنه لا يتنبأ بأمراض القلب بينما هو في الواقع مرض قلبي.
‫الصحيح.
‫الآن نعرف هذه يمكننا أن نرى أن منحنى الصخور هو مقارنة للمعدل الإيجابي الحقيقي لنموذج ما.
‫TPR مقابل الأخطاء المطبعية في كل مكان.
‫هنا دانيال.
‫هيا.
‫مقابل المعدل الإيجابي الكاذب للنموذج أو fpr.
‫حتى الآن نحن نعرف هذا.
‫دعنا نراه في العمل حتى نتمكن من القيام بذلك باستخدام القروض النفسية ، مكتبة المقاييس.
‫سنقوم باستيراد منحنى الصخور.
‫انظر كيف نقول منحنى الصخور أو أقول منحنى ثم سنقوم بعمل تنبؤات بالاحتمالات وكيف يمكننا عمل
‫تنبؤات بالاحتمالات؟
‫لقد رأينا هذا في عمل تنبؤات.
‫يمكننا فعل ذلك باستخدام y probs يساوي clf توقع prober للاحتمال.
‫سنقوم ببعض التنبؤات بشأن بيانات اختبار x.
‫الآن أريد فقط أن أتأكد من أننا ربما نفعل ذلك.
‫نقوم بإنشاء اختبار x فقط للتأكد من أنه صحيح x اختبار البيانات x الاختبار.
‫إلى آخره.
‫لذلك نريد أن نذهب هنا.
‫قطار X ، اختبار س.
‫لماذا القطار؟
‫لماذا الاختبار يساوي اختبار القطار تقسيم x y حجم الاختبار يساوي 0. 2.
‫رائع.
‫والآن يمكننا القيام بذلك لأن منحنى الصخور هو مقارنة بين المعدل الإيجابي الحقيقي للنموذج مقابل المعدل
‫الإيجابي الخاطئ للنموذج.
‫نريد فقط الاحتفاظ بالفئات الإيجابية.
‫لذا دعونا نرى كيف تبدو مسابر y.
‫لماذا يطالب؟
‫لماذا لم ينجح هذا؟
‫ماذا لدينا هنا؟
‫هذه الغابة العشوائية المصنفة لم يتم تركيبها بعد تسمى مناسبة.
‫أوه ، هذا منطقي.
‫لذلك نريد.
‫تناسب المصنف.
‫بالطبع ، لا يمكنك عمل تنبؤات دون أن تلائمها ، بدون النموذج ، وتعلم أي
‫أنماط.
‫لذلك سنقوم بتكييفه هنا.
‫ثم سنقوم ببعض التنبؤات وسنلقي نظرة على هذا.
‫ربما فقط العشرة الأوائل.
‫لذلك نحن لا نستهلك الكثير من المساحة.
‫حسنا جميلة.
‫وذلك بسبب منحنى الصخور لدينا.
‫فقط مقارنة بين المعدل الإيجابي الحقيقي للنموذج مقابل المعدل الإيجابي الخاطئ.
‫نريد فقط الاحتمالات التي توقعها النموذج للفئة الإيجابية.
‫لذا إذا تخيلت هنا أن نماذجنا تحاول التنبؤ بصفر أو واحد.
‫هذا هو احتمال أن يكون التصنيف صفراً.
‫وهذا هو احتمال أن تكون العلامة واحدة وهكذا لجميع هذه العينات حتى تنتهي.
‫لذلك سيكون هناك الكثير في مجموعة الاختبار هنا.
‫61 ، لذلك سيكون 61 من هؤلاء.
‫إذن ، ما نريده أساسًا هو أن y probs موجبة.
‫إذن فهذه هي احتمالات أن يكون فعل الصنف الموجب.
‫الصفر هو الفئة السلبية وواحد هو فئة موجبة Y.
‫لذلك سنستخدم بعض التقطيع هنا ، لكن سنستخدم عمودًا واحدًا فقط من كل صف حتى نتمكن من القيام بذلك.
‫فقط حتى تتمكن من معرفة ما يحدث.
‫إيجابي.
‫وسننظر فقط إلى العشرة الأوائل مرة أخرى.
‫فهل هذا منطقي؟
‫نحصل على 0. 43.
‫نعم.
‫0. 77.
‫نعم ، 0. 48.
‫وهكذا وهكذا دواليك لقائمة y probs بأكملها.
‫والآن يمكننا حساب العلاقات العامة والخطوات والحدود.
‫لذلك نذهب fpr يذهب عتبات tpr.
‫لماذا اعرف هذا؟
‫سنرى هذا في ثانية.
‫لماذا أعرف أن هذا سيكون عتبات فاصلة لتعليق FBR EPR.
‫لدينا منحنى ROC ، وسوف نجتازه باختبار y ومسببات y موجبة.
‫الآن ، كيف يمكنك معرفة ما يعود القرنفل الصخري في هذه الحالة؟
‫حسنًا ، ما سأفعله هو أن أضغط على مفتاح shift وهذا ما أعرفه.
‫لذلك حصلنا على منحنى roc.
‫يستغرق ذ.
‫حقيقي.
‫إذن هذه هي ملصقات الاختبار الخاصة بنا.
‫يستغرق النتيجة Y.
‫إذن هذه تحقيقات y موجبة.
‫وإذا أتينا إلى هنا ، فاحسب صخرة التشغيل المميزة للمستقبل.
‫نعم.
‫جميلة.
‫الآن المعلمات.
‫لماذا ا؟
‫حقيقي.
‫لماذا ا؟
‫نتيجة.
‫يمكن أن تكون الدرجات المستهدفة إما تقديرات احتمالية لقيم ثقة الفئة الإيجابية أو مقاييس
‫غير عتبة للقرار.
‫إذن هذه هي تقديرات الاحتمالات للفئة الموجبة.
‫من هنا حصلنا على هذه الشريحة.
‫الصحيح.
‫وبعد ذلك ، إذا أتينا إلى هنا ، فسيخبرنا ما هي عوائدنا مقابل زيادة معدلات إيجابية كاذبة
‫مثل هذا العنصر ، أي معدل تنبؤات إيجابية خاطئة مع درجة أعلى من العتبات.
‫TPR إذن هذا هو معدل وحدود موجبة حقيقية.
‫هذه هي الطريقة التي يمكننا بها معرفة ما ترجع إليه الدالة.
‫ومرة أخرى ، هذا مجرد عرض docstring في Jupyter Notebook.
‫يمكنك دائمًا الاطلاع على الوثائق الخاصة بذلك.
‫إذا كنت ترغب في القيام بذلك ، فقد تبحث عن شيء مثل كيفية حساب منحنى الصخور لـ Psychic Learn.
‫إذن سنقوم بفحص الإيجابي الخاطئ ، أليس كذلك؟
‫تبدو جميلة.
‫وهذا يعطينا مجموعة كبيرة.
‫لكن النظر إلى هذه الأشياء بمفردها ليس له معنى كبير حقًا.
‫من الأسهل رؤيته بصريًا.
‫ونظرًا لأن Cyclone لا يحتوي حقًا على وظيفة مضمنة لرسم منحنى صخري ، فإن ما قد يتعين علينا القيام به هو
‫وغالبًا ما تصادف هذا بشكل صحيح ، هو أنه سيتعين عليك العثور على وظيفة أو كتابة وظيفة خاصة
‫بك هذا سوف يفعل ذلك من أجلك.
‫هذا ما سنلقي نظرة عليه في الفيديو التالي.
‫سنقوم برسم منحنى صخري وهذه الوظيفة هنا ، منحنى الصخور ، ستبدأ في جعلها منطقية أكثر قليلاً من كونها
‫مجرد مجموعة من الأرقام.