‫ตอนนี้เราได้กล่าวถึงความแม่นยำในการประเมินแบบจำลองการจัดหมวดหมู่ของเราแล้ว และคุณอาจกำลังคิดว่า
‫ทำไมเราไม่ปล่อยให้มันทำอย่างนั้นล่ะ
‫เมื่อเราเริ่มดูเมตริกอื่นๆ เหล่านี้ คุณจะเริ่มเข้าใจว่าทำไมการได้รับเมตริกการประเมินอื่นๆ
‫อีกสองสามรายการบนกระดานจึงอาจมีความสำคัญมากกว่าแค่ความถูกต้อง
‫ในกรณีของฉัน ตอนที่ฉันเรียนรู้วิธีสร้างแบบจำลองการจัดหมวดหมู่ครั้งแรก ฉันมักจะคิดว่า ใช่ แค่ความแม่นยำที่สูงขึ้นก็ดีกว่าใช่ไหม
‫จากนั้นอย่างช้าๆ หลังจากที่ดูตัวอย่างต่างๆ กัน ผมก็เริ่มตระหนักว่า โอเค ตอนนี้ ฉันเห็นคุณค่าของการใช้ตัวชี้วัดอื่นๆ
‫แบบนี้ แต่อย่าพูดถึงมันเลย
‫มาดูการทำงานกัน
‫ต่อไปที่เราจะพูดถึงคือพื้นที่ใต้การทำงานของตัวรับ ดังนั้น พื้นที่ใต้เส้นโค้งลักษณะการทำงานของตัวรับ
‫สิ่งที่สวยงามคือมันเรียกอีกอย่างว่า AUC ดังนั้นพื้นที่ใต้โค้งหรือหินจึงมีลักษณะการทำงานของตัวรับ
‫ลองทำโค้งหินนี้กัน
‫ดังนั้นนี่คือสองสิ่งที่คุณจะมองหาพื้นที่ใต้โค้งหรือโค้งหิน บางทีเราใส่ไว้ตรงนี้
‫คุณเห็นหรือโค้งหินสวย
‫ดังนั้น ถ้าคุณได้ยินคนพูดถึงไอยุค หรือร็อค หรือร็อค หรืออะไรทำนองนั้น พวกเขาคงกำลังพูดถึงเมตริกนี้ที่นี่
‫ทีนี้, โค้งหินวัดอะไร?
‫ตามคำจำกัดความที่เป็นทางการ เส้นโค้งหินคือการเปรียบเทียบอัตราบวกที่แท้จริงของแบบจำลอง a เค TPR เทียบกับอัตราผลบวกลวงของโมเดล
‫ลองเขียนลงไป
‫นี่คือการเปรียบเทียบอัตราผลบวกจริงของแบบจำลอง ซึ่งเรียกอีกอย่างว่า TPR กับผลบวกลวงของแบบจำลอง
‫ถูกต้อง ซึ่งเรียกอีกอย่างว่า FPI
‫ตอนนี้ คุณอาจจะสงสัยว่า โอเค อะไรคือผลบวกที่แท้จริง และผลบวกลวงคืออะไร?
‫เอาล่ะมาดูที่นี่กัน
‫โมเดล Eagles เชิงบวกที่แท้จริงจะทำนายสิ่งหนึ่งเมื่อความจริงเป็นหนึ่งเดียว
‫มันสมเหตุสมผลหรือไม่?
‫ในกรณีของเรา หากเรามองบนนี้ หากเรากำหนดเป้าหมายเป็นหนึ่งหรือศูนย์ ผลบวกที่แท้จริงก็คือเมื่อแบบจำลองของเราคาดการณ์ถึงเป้าหมายหนึ่ง
‫ป้ายจริงเป็นหนึ่ง
‫ตกลง.
‫ใช่นั่นสมเหตุสมผล
‫ดังนั้น ถ้าเราไปที่นี่ ผลบวกลวงคือแบบจำลองทำนายสิ่งหนึ่งเมื่อความจริงเป็นศูนย์
‫เหตุใดจึงเรียกว่าผลบวกลวง?
‫ก็เพราะมันเป็นการทำนายอย่างหนึ่ง
‫ดังนั้น.
‫โอเค ชนชั้นบวกเป็นโรคหัวใจ เมื่อความจริงเป็นศูนย์
‫ดังนั้นจึงทำให้เราเข้าใจผิดว่าบุคคลหนึ่งอาจเป็นโรคหัวใจในกรณีของเราโดยเฉพาะสำหรับปัญหาการจำแนกโรคหัวใจของเรา
‫แล้วถ้าเราไปที่นี่เป็นลบจริง
‫เขาใช้แบบจำลองทำนายศูนย์เมื่อความจริงเป็นศูนย์
‫นั่นจึงสมเหตุสมผล
‫นั่นคือการทำนายว่าแบบจำลองกำลังได้รับการทำนายที่ถูกต้อง
‫เป็นการทำนายว่าบางคนไม่ได้เป็นโรคหัวใจโดยที่พวกเขาไม่มี
‫ที่ที่ดี
‫แล้วค่าลบเท็จเท่ากับแบบจำลองทำนาย
‫คุณคิดว่าอันนี้จะเป็นอย่างไร?
‫เท็จ.
‫เชิงลบ.
‫เราดูผลบวกลวง
‫ผลลบเท็จคือเมื่อแบบจำลองทำนายศูนย์เมื่อความจริงเป็นหนึ่ง
‫นั่นเป็นเพราะมันทำนายไม่ใช่โรคหัวใจเมื่อเป็นโรคหัวใจจริงๆ
‫ถูกต้อง.
‫ตอนนี้เรารู้แล้ว เราจะเห็นว่าเส้นโค้งหินเป็นการเปรียบเทียบอัตราบวกที่แท้จริงของแบบจำลอง
‫TPR กับการพิมพ์ผิดทุกที่
‫นี่แดเนียล
‫มาเร็ว.
‫เทียบกับอัตราบวกลวงของตัวแบบหรือ fpr
‫ตอนนี้เรารู้เรื่องนี้แล้ว
‫มาดูการใช้งานจริงกัน เพื่อทำสิ่งนี้โดยใช้สินเชื่อกายสิทธิ์ ห้องสมุดเมตริก
‫เราจะนำเข้าโค้งหิน
‫ดูว่าเรากำลังพูดถึง rock curve หรือฉันว่า curve แล้วเราจะคาดการณ์ด้วยความน่าจะเป็นและเราจะคาดการณ์ด้วยความน่าจะเป็นได้อย่างไร
‫เราเห็นสิ่งนี้ในการทำนาย
‫เราสามารถทำได้โดย y probs เท่ากับ clf ทำนาย prober สำหรับความน่าจะเป็น
‫เรากำลังจะทำการคาดการณ์เกี่ยวกับข้อมูลการทดสอบ x
‫ตอนนี้ฉันแค่ต้องการให้แน่ใจว่าบางทีเราอาจทำอย่างนั้น
‫เราสร้างสร้างการทดสอบ x เพียงเพื่อให้แน่ใจว่าเป็นข้อมูลการทดสอบ x ที่ถูกต้อง x การทดสอบ
‫ET อื่น ๆ
‫เราจึงอยากไปที่นี่
‫X รถไฟ x ทดสอบ
‫ทำไมต้องฝึก?
‫ทำไม test เท่ากับ train test split x y ขนาดการทดสอบเท่ากับ 0 2.
‫มหัศจรรย์.
‫และตอนนี้เราก็ทำได้เพราะเส้นโค้งหินเป็นการเปรียบเทียบอัตราผลบวกจริงของแบบจำลอง กับอัตราผลบวกลวงของแบบจำลอง
‫เราต้องการเก็บเฉพาะชั้นเรียนที่เป็นบวกเท่านั้น
‫ที่จริงลองดูว่า y probs หน้าตาเป็นอย่างไร
‫ทำไมต้องแจ้ง?
‫ทำไมสิ่งนี้ถึงใช้งานไม่ได้
‫เราได้อะไรที่นี่?
‫ป่าสุ่มนี้จัดว่ายังไม่พอดี
‫โอ้นั่นจะสมเหตุสมผล
‫ดังนั้นเราจึงต้องการ
‫พอดีกับลักษณนาม
‫แน่นอน คุณไม่สามารถคาดการณ์ได้หากไม่มีรูปแบบที่เหมาะสม หากไม่มีโมเดล การเรียนรู้รูปแบบใดๆ
‫ดังนั้นเราจะใส่มันที่นี่
‫จากนั้นเราจะทำการทำนายและเราจะดูสิ่งนี้
‫อาจจะแค่สิบคนแรก
‫เราจึงไม่เปลืองเนื้อที่
‫ดีค่ะ สวย
‫และเนื่องจากแนวหินของเรา
‫มีเพียงการเปรียบเทียบอัตราผลบวกจริงของแบบจำลองกับอัตราผลบวกลวง
‫เราต้องการความน่าจะเป็นที่แบบจำลองคาดการณ์ไว้สำหรับคลาสบวกเท่านั้น
‫ดังนั้นหากคุณลองนึกภาพที่นี่ แบบจำลองของเราพยายามทำนายศูนย์หรือหนึ่ง
‫นี่คือความน่าจะเป็นที่ป้ายกำกับเป็นศูนย์
‫และนี่คือความน่าจะเป็นที่ฉลากจะเป็นหนึ่งเดียวไปเรื่อยๆ สำหรับตัวอย่างทั้งหมด จนกว่ามันจะเสร็จสิ้น
‫ดังนั้นจะมีกี่ชุดในชุดทดสอบที่นี่
‫61, ก็จะเท่ากับ 61 พวกนี้.
‫โดยพื้นฐานแล้วสิ่งที่เราต้องการคือ y probs เป็นบวก
‫ดังนั้นนี่คือความน่าจะเป็นที่เป็นการกระทำของชนชั้นเชิงบวก
‫ศูนย์คือคลาสลบและอีกคลาสคือคลาสบวก Y
‫เราจะใช้การแบ่งส่วนตรงนี้, แต่คอลัมน์เดียวของทุกแถวเพื่อให้เราทำได้
‫เพียงเพื่อให้คุณรู้ว่าเกิดอะไรขึ้น
‫เชิงบวก.
‫และเราจะดูเฉพาะสิบอันดับแรกอีกครั้ง
‫แล้วมันสมเหตุสมผลไหม?
‫เราจะได้ 0 43.
‫ใช่.
‫0. 77.
‫ใช่ 0 48.
‫ไปเรื่อยๆ ไปเรื่อยๆ สำหรับรายการปัญหา y ทั้งหมด
‫และตอนนี้เราสามารถคำนวณ pr, tpr และธรณีประตูได้
‫เราไป fpr มันถึงเกณฑ์ tpr
‫ทำไมฉันถึงรู้เรื่องนี้?
‫เราจะเห็นสิ่งนี้ในอีกสักครู่
‫ทำไมฉันถึงรู้ว่านี่จะเป็นเกณฑ์จุลภาค EPR ความคิดเห็นของ FBR
‫เรามี ROC Curve เราจะผ่านการทดสอบ y และ y probs เป็นบวก
‫ทีนี้ คุณจะรู้ได้อย่างไรว่าหินกานพลูส่งคืนในกรณีนี้ได้อย่างไร
‫สิ่งที่ฉันจะทำคือกด shift tab และนี่คือวิธีที่ฉันรู้
‫ดังนั้นเราจึงได้ ร็อคเคิร์ฟ
‫มันต้องใช้เวลา y
‫จริง.
‫นั่นคือฉลากทดสอบของเรา
‫ต้องใช้คะแนน Y
‫นั่นคือปัญหา y เป็นบวก
‫และถ้าเราลงมาตรงนี้ ให้คำนวณลักษณะการทำงานของเครื่องรับ
‫ใช่.
‫สวยงาม.
‫ตอนนี้พารามิเตอร์
‫ทำไม
‫จริง.
‫ทำไม
‫คะแนน.
‫คะแนนเป้าหมายสามารถเป็นได้ทั้งการประมาณความน่าจะเป็นของค่าความเชื่อมั่นระดับบวกหรือการวัดที่ไม่ใช่เกณฑ์ของการตัดสินใจ
‫นั่นคือค่าประมาณความน่าจะเป็นของคลาสบวก
‫นั่นคือสิ่งที่เราได้รับชิ้นนี้จาก
‫ถูกต้อง.
‫แล้วถ้าเราลงมาตรงนี้ มันจะบอกเราว่าผลตอบแทน fpr ของเราเพิ่มอัตราผลบวกลวงอย่างไร
‫องค์ประกอบนั้นคืออัตราการทำนายผลบวกลวงที่มีคะแนนสูงกว่าเกณฑ์
‫TPR นั่นคืออัตราและเกณฑ์ที่เป็นบวกอย่างแท้จริง
‫นั่นคือวิธีที่เราสามารถหาได้ว่าฟังก์ชันส่งคืนอะไร
‫และอีกครั้ง นั่นเป็นเพียงการดู docstring ใน Jupyter Notebook
‫คุณสามารถดูเอกสารสำหรับสิ่งนี้ได้ตลอดเวลา
‫หากคุณต้องการทำเช่นนั้น คุณอาจค้นหาบางอย่างเช่น วิธีคำนวณเส้นโค้งหินสำหรับ Psychic Learn
‫แล้วเราจะตรวจสอบผลบวกลวง จริงไหม?
‫ดูสวยงาม.
‫นั่นทำให้เรามีอาร์เรย์ขนาดใหญ่
‫แต่การดูสิ่งเหล่านี้ด้วยตัวของมันเองนั้นไม่สมเหตุสมผลเลย
‫มองเห็นได้ด้วยตาเปล่าง่ายกว่ามาก
‫และเนื่องจากพายุไซโคลนไม่มีฟังก์ชันในตัวสำหรับวาดเส้นโค้งหิน สิ่งที่เราอาจต้องทำคือ
‫และคุณมักจะเจอสิ่งที่ถูกต้องคือ คุณจะต้องค้นหาฟังก์ชันหรือเขียนฟังก์ชันของคุณเอง
‫ที่จะทำเพื่อคุณ
‫นั่นคือสิ่งที่เราจะดูในวิดีโอหน้า
‫เราจะพลอตเส้นโค้งหิน และฟังก์ชันนี้ตรงนี้ เส้นโค้งหิน จะเริ่มมีความหมายมากกว่าที่จะเป็นแค่อาร์เรย์ของตัวเลข