‫ดังนั้นตัวชี้วัดการประเมินแบบจำลองการจัดประเภทขั้นสุดท้ายที่เราจะพิจารณาคือรายงานการจัดประเภท
‫และตอนนี้รายงานการจัดหมวดหมู่ยังเป็นชุดของตัวชี้วัดการประเมินที่แตกต่างกันมากกว่าที่จะเป็นรายการเดียว
‫นั่นคือที่มาของรายงาน
‫เป็นรายงานย้อนกลับของพารามิเตอร์ต่างๆ จำนวนหนึ่งเพื่อประเมินแบบจำลองการจัดหมวดหมู่ของเรา
‫มาดูกัน.
‫หนึ่งในการกระทำ
‫ดังนั้นจากรายงานการจัดประเภทการนำเข้า Skyline Dot Matrix
‫ที่จะทำมัน
‫เราแค่วางป้ายชื่อที่แท้จริงไว้
‫ตกลง.
‫การทดสอบ Y และการคาดการณ์บางอย่าง
‫อีกครั้งหนึ่ง เมตริกการประเมินนี้เป็นเพียงการเปรียบเทียบป้ายกำกับที่แท้จริงของข้อมูลของเรากับการคาดการณ์ที่แบบจำลองของเราสร้างขึ้น
‫มาดูกันว่าเกิดอะไรขึ้นที่นี่
‫ไม่เป็นไร.
‫มีบางสิ่งที่ยุติธรรมเกิดขึ้น
‫เราได้รับความแม่นยำในการเรียกคืน f1 คะแนนสนับสนุนศูนย์บางทีนั่นอาจเป็นศูนย์ระดับสี่ไม่ใช่โรคหัวใจ
‫บางทีนั่นอาจเป็นโรคหัวใจ
‫ถ้าเราลงมา เราก็มีความแม่นยำ
‫0. ค่าเฉลี่ยมาโคร 75
‫ค่าเฉลี่ยถ่วงน้ำหนัก
‫อืม.
‫เกิดอะไรขึ้นที่นี่?
‫ไปที่ประเด็นสำคัญของเราและดูรายงานการจัดหมวดหมู่กายวิภาคของเรา
‫ตรงนี้ เราเห็นว่าเรามีสิ่งเดียวกัน
‫เพียงนำเข้ารายงานการจัดประเภท
‫เราทำไปแล้วอย่างหนึ่งบนฉลากการทดสอบและการคาดคะเน ตัวเลขที่แตกต่างกันเล็กน้อยที่นี่
‫มีอะไรอยู่ในสมุดบันทึกของเรา?
‫แต่ไม่เป็นไร
‫ดังนั้นความแม่นยำหรือความแม่นยำจึงบ่งบอกถึงสัดส่วนของการระบุเชิงบวก
‫ดังนั้นก. เค โมเดลทำนายคลาสหนึ่งซึ่งถูกต้องจริง
‫ตอนนี้ แบบจำลองที่ไม่ก่อให้เกิดผลบวกลวงมีความแม่นยำเท่ากับหนึ่ง
‫นั่นคือสิ่งที่เราจะเห็นคะแนนความแม่นยำของเรา
‫หากตัวแบบไม่ได้สร้างผลบวกปลอม และเรารู้ว่าแบบจำลองของเราไม่ได้ผลเพราะเราดูที่การจำแนกประเภทหรือเมทริกซ์ความสับสน
‫และเราเห็นว่ามันสับสนในบางตัวอย่าง และคาดการณ์ว่าเป็นผลบวกลวง
‫ดังนั้นคะแนนความแม่นยำของเราจึงต่ำกว่าหนึ่งเล็กน้อย
‫ตอนนี้สิ่งต่อไปคือการเรียกคืน
‫ดังนั้นการเรียกคืนจึงระบุสัดส่วนของผลบวกที่เกิดขึ้นจริงซึ่งจัดประเภทอย่างถูกต้อง
‫ตอนนี้ แบบจำลองที่ไม่ก่อให้เกิดผลลบลวงมีการเรียกคืนเป็น 1 0.
‫และอีกครั้ง เรารู้จากเมทริกซ์ความสับสนว่าไม่เป็นเช่นนั้น
‫ดังนั้นการจำของเราจึงลดลงเล็กน้อย
‫ตอนนี้ F1 ให้คะแนนทั้งความแม่นยำและการเรียกคืน
‫โมเดลที่สมบูรณ์แบบได้รับคะแนน F1 เท่ากับ 1 0.
‫โอเค เมื่อเราเห็นคะแนน F1 ของเราไม่ใช่ 1 0แต่ก็ยังค่อนข้างสูงถ้าเราไปสนับสนุน
‫คำนวณจำนวนตัวอย่างแต่ละเมตริก
‫ดังนั้นเราจึงเห็นที่นี่
‫นี่หมายความว่าเราดูที่ 29 นี่
‫ถ้าเราดูนั่น มันคือศูนย์สี่และข้างล่างนี้ มันคือ 61
‫นั่นหมายความว่าเมตริกเหล่านี้คำนวณจากตัวอย่างที่แตกต่างกัน 61 ตัวอย่าง
‫และตัววัดเหล่านี้ตามนี้ จะคำนวณจากตัวอย่าง 29 ตัวอย่าง ซึ่งมีคลาสเป็นศูนย์
‫และอันนี้คือ 32 กับคลาสเลเบลหนึ่ง
‫โอเค เป็นโรคหัวใจ
‫แล้วถ้าคุณบวก 29 บวก 32 คุณจะได้ 61
‫ทีนี้ ความแม่นยำ เราเคยเห็นมาก่อนแล้ว
‫นี่เป็นเพียงความแม่นยำของแบบจำลองในรูปแบบทศนิยม
‫ความแม่นยำที่สมบูรณ์แบบคือ 1 0 หรือที่รู้จักว่าโมเดลของเรากำลังคาดการณ์ถูกต้อง 100% ตลอดเวลา
‫ถ้าความแม่นยำคือ 1 0 แล้วเรามาดูค่าเฉลี่ยมาโคร
‫ตอนนี้มันคืออะไร?
‫มันสั้นสำหรับค่าเฉลี่ยมาโครอย่างที่คุณอาจเดาได้
‫ดังนั้นจึงเป็นการเรียกคืนความแม่นยำโดยเฉลี่ยและคะแนน F1 ระหว่างชั้นเรียน
‫ตอนนี้กุญแจสำคัญที่นี่คือค่าเฉลี่ยของมาโครไม่คำนึงถึงคลาสและความสมดุลในสิ่งนี้ควรมีผลหรือบัญชี
‫สมมุติว่านี่คือการนับ
‫ดังนั้น หากคุณมีความไม่สมดุลของคลาส ให้ใส่ใจกับเมตริกนี้
‫โอเค ในกรณีของเรา คลาสไม่สมดุลคืออะไร?
‫ถ้าคุณดูตัวอย่างของเรา เราไม่มีความไม่สมดุลของคลาสที่นี่
‫ทำไมถึงเป็นอย่างนั้น?
‫ก็เพราะว่าเรามีตัวอย่างจำนวนเท่ากันกับคลาสศูนย์และคลาสหนึ่ง
‫ความหมายมีประมาณ 5050 แยกที่นี่
‫มันไม่ใช่ 5050 อย่างแน่นอน แต่ก็ไม่ใช่ว่าเรามี 60 ตัวอย่างของคลาสที่หนึ่งและหนึ่งตัวอย่างของคลาสซีโร่
‫ดังนั้นเราจึงมีประมาณ 30 ในแต่ละ.
‫ดังนั้น หากคุณมีความไม่สมดุลของคลาส คุณต้องการที่จะตรวจสอบค่าเฉลี่ยมาโครของคุณตอนนี้เพราะตัวอย่างของเรา
‫คลาสนั้นค่อนข้างสมดุล
‫นั่นคือเหตุผลที่ค่าเฉลี่ยแบบถ่วงน้ำหนักแบบสั้นและค่าเฉลี่ยแบบถ่วงน้ำหนักแบบสั้น AVG แบบถ่วงน้ำหนักสี่แบบ ค่าเฉลี่ยแบบถ่วงน้ำหนักเป็นการเรียกคืนที่แม่นยำ
‫และ F หนึ่งคะแนนระหว่างคลาสที่ถ่วงน้ำหนัก หมายความว่าแต่ละเมตริกจะถูกคำนวณตามจำนวนตัวอย่างที่อยู่ในแต่ละคลาส
‫ดังนั้น ตัวชี้วัดนี้จะสนับสนุนชนชั้นส่วนใหญ่
‫ตัวอย่างเช่น เราจะให้ค่าสูงเมื่อคลาสหนึ่งมีประสิทธิภาพดีกว่าคลาสอื่นเนื่องจากมีตัวอย่างมากกว่า
‫นี่คือเหตุผลที่ค่านิยมของเราที่นี่
‫ค่อนข้างคล้ายกันเพราะเรามีคลาสที่สมดุล
‫ตอนนี้คุณอาจกำลังคิดว่าสถานการณ์แบบไหนที่ค่านิยมเหล่านี้จะหมดไปใช่ไหม?
‫แบบนี้จะเกิดขึ้นที่ไหน?
‫และคุณอาจกำลังคิดว่า เราได้เรียนรู้เมตริกต่างๆ มากมายที่นี่แล้ว
‫เรากลับมาที่สมุดบันทึกของเรา
‫เราได้ตรวจสอบรายงานการจำแนกประเภทแล้ว เราทำเมทริกซ์ความสับสน เราทำความถูกต้อง เราทำพื้นที่ภายใต้
‫ROC Curve
‫ฉันควรใช้สิ่งเหล่านี้เมื่อใด
‫ตอนนี้เราผ่านมันมาได้แล้ว
‫มันอาจจะเย้ายวนที่จะคิดว่า เอาล่ะ ทำไมฉันไม่ทิ้งสิ่งอื่นๆ
‫ทั้งหมดที่ฉันมีปัญหาในการจับและใช้ความแม่นยำให้ดี
‫มาดูตัวอย่างกัน
‫มาดูกันว่าเมตริกอื่นๆ จะเข้ามามีบทบาทเมื่อใด
‫และบางทีคุณไม่ควรใช้ความแม่นยำเพียงอย่างเดียว เพราะนี่คือกับดักที่ฉันติดเมื่อตอนที่ฉันเริ่มสร้างแบบจำลองการจำแนกประเภทครั้งแรก
‫ฉันแบบว่า ใช่ แบบจำลองของฉันมีความแม่นยำมากกว่าร้อยละ 90
‫ต้องเป็นรุ่นใหญ่แน่ๆ
‫มาดูสถานการณ์กัน
‫ตัวอย่างเช่น สมมติว่ามีคน 10,000 คน และหนึ่งในนั้นเป็นโรค และขอให้คุณสร้างแบบจำลองเพื่อทำนายว่าใครเป็นโรคนี้
‫ไม่เป็นไร.
‫ลองทำอย่างนั้นจริงๆ
‫มาเขียนโค้ดกัน
‫นี่คือจุดที่ความแม่นยำและการเรียกคืนกลายเป็นสิ่งที่มีค่า
‫และที่จริงแล้ว ตัวชี้วัดทั้งหมดในรายงานการจัดหมวดหมู่ของเรามีค่าที่นี่
‫โรคจึง.
‫จริง.
‫มี 10,000 คน และหนึ่งในนั้นเป็นโรค
‫สิ่งที่เราทำได้คือสร้างกลุ่มผู้ตัดสิน 10,000 คน จากนั้นเราอาจเปลี่ยนหนึ่งในนั้น
‫ฉันสามารถสะกดโรค
‫ดังนั้นดัชนีศูนย์โรคจึงเท่ากับหนึ่ง
‫ดังนั้นจึงมีกรณีบวกเพียงกรณีเดียว
‫แล้วถ้าเราลงมาที่นี่และบอกว่าแบบจำลองของเราทำนายหรือการแพร่กระจายของโรคเท่ากับ 10,000 ของ NP Zero
‫นี่หมายความว่าโมเดลคาดการณ์ทุกกรณีเป็นศูนย์
‫ไม่เป็นไร.
‫แล้วสิ่งที่เราจะทำคือสร้าง data frame เพื่อให้เราเห็นภาพรายงานการจัดหมวดหมู่นี้
‫นั่นคือสิ่งที่โมเดลของเราทำ
‫ใช่ไหม
‫นี่คือสิ่งที่เกิดขึ้นที่นี่
‫โรค.
‫จริง.
‫มีกรณีบวกเพียงกรณีเดียว หนึ่งใน 10,000
‫และเราสร้างแบบจำลองและแบบจำลองของเราคาดการณ์ว่าทุกกรณีเป็นศูนย์
‫ดังนั้นจึงพลาดคำทำนายเดียว
‫จะเกิดอะไรขึ้นถ้าเราสร้างรายงานการจำแนกประเภทเพื่อให้เราเป็นโรค
‫จริง.
‫เรามาที่นี่
‫โรคแพร่กระจาย
‫ฉันต้องการส่งพารามิเตอร์เล็ก ๆ นี้เพื่อให้พอดีกับดาต้าเฟรม
‫ดังนั้นเอาต์พุต dict เท่ากับผ่าน
‫ไม่เป็นไร.
‫ดังนั้น.
‫เกิดอะไรขึ้นที่นี่
‫เราดูนี่ นี่เป็นเพียงรูปแบบอื่นของรายงานการจัดหมวดหมู่บนนี้
‫ถ้าเราไม่ทำสิ่งนี้
‫มันจะผิดพลาด
‫นี่เป็นเพียงเพื่อให้เห็นภาพว่าเกิดอะไรขึ้น
‫จริง.
‫นี่คือตัวอย่างที่สำคัญ ถูกต้อง ที่คุณต้องการใช้เมตริกอื่นที่ไม่ใช่ความแม่นยำ คือเมื่อคุณมีคลาสที่ไม่สมดุลมาก
‫ในกรณีของเรา เรามีคลาสที่ไม่สมดุลอย่างมาก เพราะในชุดข้อมูลเดิมของเรา สิ่งเหล่านี้จะเท่ากับจริงหรือไม่
‫มีเพียงตัวอย่างเดียวเท่านั้น ดังนั้นมีเพียงตัวอย่างเดียวเท่านั้นที่ป้ายกำกับจะเป็นหนึ่งและทุกอย่างที่เหลือเป็นศูนย์
‫เราได้สร้างแบบจำลองที่คาดการณ์ศูนย์สำหรับทุกกรณีใช่ไหม
‫เพราะมันเป็นเพียงตัวอย่างเดียวเท่านั้น
‫ดังนั้นจึงเป็นเรื่องยากมากที่จะเรียนรู้ว่ามีรูปแบบสำหรับกรณีนี้โดยเฉพาะ
‫ดังนั้นสิ่งที่เกิดขึ้นคือถ้าเราวัดแค่ความแม่นยำในแบบจำลองของเราที่คาดการณ์ว่าศูนย์สำหรับทุกสิ่ง
‫มันจะออกมาด้วยความแม่นยำเป็น 0 99 หรืออีกนัยหนึ่งคือ 99%
‫ดังนั้น ให้ถามตัวเองว่า แม้ว่าแบบจำลองจะบรรลุถึง 99 ก็ตาม ความแม่นยำ 99% รุ่นยังมีประโยชน์หรือไม่?
‫ถูกต้อง.
‫นั่นเป็นเหตุผลที่เราดูเมตริกอื่นๆ เหล่านี้ เช่น ค่าเฉลี่ยมาโคร
‫นั่นคือสิ่งที่เราจะเห็นแบบจำลองของเราล้มลงที่นี่
‫ในเรื่องความแม่นยำนั้น จริง ๆ แล้วความแม่นยำเป็นศูนย์สำหรับคลาสหนึ่ง ซึ่งสมเหตุสมผลเพราะไม่ได้คาดการณ์ถึงคลาสที่หนึ่งด้วยซ้ำ
‫และในที่นี้ คลาส 0 ได้ 100% จริงๆ เพราะมันทำนายแค่คลาสซีโร่เท่านั้น
‫นี่เป็นสถานการณ์กรณีการใช้งานประเภทหนึ่งที่คุณต้องการให้แน่ใจว่าคุณกำลังใช้เมตริกการประเมินที่หลากหลายสำหรับแบบจำลองการจัดหมวดหมู่ของคุณ
‫ไม่ใช่แค่ความแม่นยำเท่านั้น
‫และตอนนี้เราเพิ่งจะพูดถึงเมตริกบางตัวที่คุณสามารถใช้ประเมินอัลกอริธึมการจำแนกประเภทได้
‫แต่ยังมีอีกสองสามตัว
‫ดังนั้นหากคุณต้องการดูเพิ่มเติม เราไปที่นี่ การประเมินแบบจำลอง ซ็อกเก็ต เรียนรู้
‫เราจะดูที่เอกสาร
‫หากคุณเข้ามาที่นี่ นี่เป็นหลักสูตรเสริมเล็กน้อย ให้ดูที่ส่วนนี้ที่นี่
‫ทั้งหมดที่ฉันทำไปคือเอกสารเงินกู้ซ็อกเก็ตสำหรับการประเมินแบบจำลอง
‫เรามาถึงการจัดหมวดหมู่ เราสามารถเห็นบางส่วนที่นี่ ที่เราครอบคลุม
‫ดังนั้นสิ่งที่เราพูดถึงน่าจะเป็นขั้นต่ำสุดที่คุณต้องการใช้ใช่ไหม
‫ดังนั้นพื้นที่ความแม่นยำภายใต้เส้นโค้งหินหรือเมทริกซ์ความสับสน AUC และรายงานการจำแนกประเภท
‫ดังนั้นให้เก็บไว้ในกระเป๋าเครื่องมือของคุณ และหากคุณต้องการเพิ่มเติม โปรดอ่านเอกสารประกอบ
‫นั่นคือการสรุปเมตริกการประเมินเฉพาะการจัดประเภทของเรา
‫มาเจาะลึกกันในหัวข้อถัดไปซึ่งเราจะมาดูเมตริกการประเมินแบบจำลองการถดถอยที่เฉพาะเจาะจงมากขึ้น