‫ตอนนี้ เราได้ปรับไฮเปอร์พารามิเตอร์ของแบบจำลองการถดถอยโลจิสติกแล้ว และได้คะแนนค่อนข้างดีที่นี่
‫แต่อย่าลืมคะแนนนี้ คะแนนเริ่มต้นสำหรับตัวแยกประเภทคือความแม่นยำ
‫สิ่งที่เราอยากทำตอนนี้คือสร้างตัวชี้วัดการประเมินบางส่วนรอบๆ โมเดลของเราซึ่งเกินความแม่นยำไปเล็กน้อย
‫โดยเฉพาะอย่างยิ่ง มาสร้างโมเดลแมชชีนเลิร์นนิงที่ได้รับการปรับแต่งของเรา
‫อันที่จริง ตัวแยกประเภทการเรียนรู้ของเครื่องน่าจะดีกว่าเพราะตัววัดการประเมินเหล่านี้มีความเฉพาะเจาะจงสำหรับการจัดประเภท
‫ดังนั้นเราจะไปไกลกว่าความแม่นยำ
‫โดยเฉพาะอย่างยิ่ง เราต้องการเส้นโค้ง ROC และคะแนน AUC
‫เรายังต้องการเมทริกซ์ความสับสน
‫ฉันใส่สี่ในนั้นที่จริง ๆ แล้วดูเหมือนว่ามันมาจากเมทริกซ์ที่มีตัวเลขมากมาย
‫คุณรู้ไหม หน้าจอสีเขียวที่ไหลลื่น
‫เราต้องการรายงานการจัดหมวดหมู่
‫เราต้องการอะไรอีก
‫ต้องการการเรียกคืนที่แม่นยำและ f หนึ่งคะแนน
‫และจะดีมาก
‫และคงจะดีถ้าใช้การตรวจสอบข้ามหากเป็นไปได้
‫ลองเปลี่ยนเป็นมาร์กดาวน์
‫นี่คือสิ่งที่เรากำลังจะทำ
‫เราจะใช้การค้นหากริดที่ปรับแต่งแล้ว แบบจำลองการถดถอยโลจิสติก ตลอดจนประเภทพารามิเตอร์ที่ดีที่สุดสำหรับมัน
‫และเราจะดูว่าพวกเขาจะเข้ามาเล่นที่ไหนในไม่กี่วินาที
‫อย่างแรกเลย เมื่อเราประเมินแบบจำลอง มันมักจะเปรียบเทียบว่าการคาดคะเนของแบบจำลองที่ผ่านการฝึกอบรมของเราเป็นอย่างไรเมื่อเปรียบเทียบกับป้ายกำกับความจริง
‫สิ่งที่เราต้องทำคือทำการคาดคะเนก่อน เพื่อให้เราสามารถเปรียบเทียบกับฉลากความจริงได้ เค ป้ายกำกับในชุดข้อมูลการทดสอบ
‫Y
‫มาทำกัน
‫เขียนบันทึกที่นี่เพื่อทำการเปรียบเทียบและประเมินแบบจำลองที่ได้รับการฝึกอบรมของเรา
‫อันดับแรก เราต้องทำการทำนาย
‫สิ่งที่เราจะทำ เราจะทำการคาดคะเนด้วยโมเดลที่ปรับแต่งแล้ว และมีฟังก์ชันที่สวยงามที่เรียกว่า ทำนาย ที่เราสามารถใช้ได้
‫ดังนั้นเราจะบันทึกลงในสเปรด Y และเราใช้ GS log rig ซึ่งเป็นเวอร์ชันฝึกหัดของเรา ของโมเดลการค้นหากริดของเรา
‫ดังนั้น GS log rig จึงไม่คาดการณ์ และเราจะคาดการณ์ข้อมูลการทดสอบว่าทำไม Preds Wonderful
‫แล้วมาดูกันว่าเราจะไม่บ้าไปแน่ๆ คนสวย
‫และตอนนี้เราต้องเปรียบเทียบกับชุดข้อมูลทดสอบ
‫ดังนั้นเราจึงดูที่นี่
‫ตกลง.
‫ถ้าเราต้องการให้ศูนย์ 0 เราสามารถรู้ได้ว่ามันผิดเพราะนั่นควรจะเป็นศูนย์ตรงนั้นเพราะนี่คือป้ายกำกับความจริงที่นี่แล้วเราก็สามารถผ่านมันไปได้
‫แต่เราจะไม่ทำอย่างนั้น .
‫เราต้องการใช้รหัสเพื่อทำสิ่งนั้น
‫อย่างแรกเลย เราต้องการเส้นโค้งหิน เพราะจำไว้ว่า เรามีรายการเล็ก ๆ นี้ที่นี่
‫ดังนั้นเส้นโค้งหินและคะแนน AUC
‫อืม.
‫โค้งหินคืออะไร?
‫ดีถ้าเรามองขึ้นว่า
‫แล้วโค้งหินคืออะไร?
‫เราผ่านกระบวนการนี้
‫ดังนั้นการทำความเข้าใจเส้นโค้ง AOC Roc
‫ดังนั้นถ้าเราจะอ่านเรื่องนี้
‫สิ่งที่เราจะได้รับคือเส้นโค้งของหินถูกสร้างขึ้นโดยพล็อตอัตราบวกที่แท้จริงกับอัตราบวกลวงที่การตั้งค่าเกณฑ์ต่างๆ
‫โอซี สวย.
‫มาดูกันว่าเราทำอย่างไร
‫เส้นโค้งหินเป็นวิธีการทำความเข้าใจว่าแบบจำลองของคุณทำงานอย่างไรโดยเปรียบเทียบอัตราผลบวกที่แท้จริงกับอัตราผลบวกลวง
‫และถ้าเราต้องการหาว่าผลบวกที่แท้จริงและผลบวกลวงคืออะไร เราก็สามารถดูเมทริกซ์ความสับสนของเราได้
‫ดังนั้นแบบจำลองเชิงบวกที่แท้จริงจะทำนายสิ่งหนึ่งเมื่อความจริงเป็นหนึ่ง และผลบวกลวงเป็นเพียงแบบจำลองที่ทำนายสิ่งหนึ่งเมื่อความจริงควรจะเป็นศูนย์
‫และนางแบบที่สมบูรณ์แบบจะได้รับคะแนน AUC
‫สิ่งที่เราเห็นในเสี้ยววินาที 0.
‫มาดูกันว่าเราทำอย่างไร
‫ดังนั้นนำเข้าฟังก์ชันเส้นโค้ง RC จากจุดเมทริกซ์เส้นขอบฟ้า
‫นั่นคือสิ่งที่มันมาจาก
‫นั่นคือสิ่งที่มันอาศัยอยู่
‫แต่เราได้ทำสิ่งนี้ไปแล้วจริง ๆ เช่นเดียวกับฟังก์ชันบรรทัดอื่น ๆ ทั้งหมดที่เราใช้อยู่ด้านบน
‫กลับขึ้นไปตรงนี้
‫นี่คือการประเมินแบบจำลองในขณะนี้ ในส่วนถัดไปนี้ วิดีโอถัดไป เราจะจัดการทุกอย่างจากที่นี่
‫นี่คือสิ่งที่เราเห็นได้ว่าเราได้ทำการสุ่มค้นหาของการค้นหาตาราง เส้นโค้งการพล็อตเมทริกซ์ความสับสนที่สำคัญ
‫ซึ่งเรากำลังจะใช้คะแนนความแม่นยำ คะแนนการเรียกคืน คะแนน F1
‫ดังนั้นสิ่งเหล่านี้จึงมีไว้สำหรับโมเดลการจัดหมวดหมู่ของเรา
‫งั้นลงไปกันเถอะ
‫เราสามารถบันทึกบรรทัดของรหัสเองได้
‫เราไม่จำเป็นต้องนำเข้าสิ่งนั้นจริงๆ
‫เรากลับมาที่นี่ทันที
‫เราไปก็ได้
‫พล็อต Roc โค้ง
‫นี่เป็นส่วนเสริมที่ค่อนข้างใหม่ในห้องสมุดยืมพลังจิต ซึ่งฉันมีความสุขมาก เพราะโดยปกติคุณต้องเขียนสิ่งเหล่านี้ด้วยตัวเอง
‫ฟังก์ชันนี้ กราฟกราฟนี้ และคำนวณจริง ๆ แล้วคำนวณเมตริก AUC สำหรับเรา
‫ดังนั้นพื้นที่ใต้เมทริกเส้นโค้ง, มาดูการทำงานกัน.
‫ผมจะพลอตกราฟ ROC
‫เธอเป็นเหมือนเกร็ก
‫และถ้าเราดูสิ่งนี้ในเอกสารประกอบ มันจะบอกเราว่ามันทำอะไร ส่งค่าประมาณ ซึ่งเป็นโมเดลแมชชีนเลิร์นนิงของเรา
‫Passat, Passat y plot receiver, ลักษณะการทำงาน, เส้นโค้งที่แม่นยำ
‫นั่นคือสิ่งที่จะทำเพื่อเรา
‫สวยงาม.
‫ดังนั้น Jes log rig x test และเราต้องการให้มันใช้กับชุดข้อมูลการทดสอบ
‫ประเมินอยู่เสมอ
‫นี้ควรจะคำนวณ
‫ประเมินโมเดลการเรียนรู้ของเครื่องเสมอในชุดข้อมูลทดสอบแล้วมาดูกัน
‫โอ้สวย
‫โอเค จำโค้งหินที่สมบูรณ์แบบที่เราเคยเห็นในวิดีโอก่อนหน้านี้
‫เราขึ้นไปที่มุมนี้แล้วข้ามแบบนั้น แต่เมื่อเท็ดขึ้นไปได้ค่อนข้างดี เราก็จะได้พื้นที่ใต้เส้นโค้ง
‫ดังนั้นหากเราคำนวณพื้นที่ทั้งหมดนี้ภายใต้ 0 ตรงนี้ 93 แน่นอนว่าโมเดลที่สมบูรณ์แบบจะบรรลุ 1 0.
‫ดังนั้นแบบจำลองของเราจึงไม่สมบูรณ์แบบ แต่เป็นคะแนน AUC ที่ 0 93 เมื่อเฉลี่ยเพียง.
‫การโยนเหรียญโดยพื้นฐานแล้วจะเป็น 0 5.
‫ดังนั้นเราจึงเข้าใกล้โมเดลที่สมบูรณ์แบบ
‫ไม่เลวสำหรับรุ่นที่เพิ่งออกจากกล่อง
‫ไม่เป็นไร.
‫สิ่งต่อไปที่เราต้องการทำคือเมทริกซ์ความสับสน
‫เรามาดูกันว่า
‫เมทริกซ์ความสับสนดังนั้น
‫เราจะทำอย่างนั้นได้อย่างไร?
‫เลยคิดว่ามันเหมือนโลนมีหน้าที่และไม่คิดว่าตัวเองรู้
‫เหมือนกับว่ามันมีหน้าที่
‫เราสามารถใช้เมทริกซ์ความสับสนได้ และเราต้องการเปรียบเทียบป้ายกำกับความจริงพื้นๆ กับป้ายกำกับที่คาดการณ์ไว้
‫ตกลง.
‫เราก็ปล่อยไว้อย่างนั้นได้
‫ที่อ่อนโยนบิต
‫เราสามารถปรับปรุงการแสดงภาพเมทริกซ์ความสับสนนี้ได้โดยใช้
‫ทะเล.
‫นั่นคือสิ่งที่เราต้องการ
‫เราเลยอยากไป
‫ฉันเชื่อว่าเรามีทะเลอยู่ที่นี่แล้ว
‫ใช่.
‫เราจามไหม
‫ใช่เราทำ
‫ดังนั้นเราจึงเคยใช้ Seabourn มาก่อนในโครงการนี้เพื่อให้เราสามารถไปได้
‫สิ่งที่ฉันอาจทำคือฉันรู้ล่วงหน้าว่าเราต้องการขนาดตัวอักษรที่ใหญ่ขึ้น
‫ขนาดตัวอักษรจึงเท่ากับ 1 5.
‫นั่นเป็นเพียงชุด sans dot
‫ตอนนี้ เราจะสร้างฟังก์ชันเล็กๆ ตรงนี้ ในกรณีที่เราต้องการสร้างเมทริกซ์ความสับสน
‫เนื่องจากพลังจิตเรียนรู้ความสับสน ฟังก์ชันเมทริกซ์จึงไม่เป็นศูนย์เหมือนที่ทำวิดีโอนี้
‫คุณสามารถเสมอ
‫บางทีนั่นอาจเป็นโอกาสสำหรับคำขอดึง
‫ดังนั้นเราจึงไปที่นี่
‫ดีและเรียบง่าย
‫ดังนั้นเราจะผ่านมันไปให้ได้
‫ฟังก์ชันนี้ การทดสอบของเรา
‫ฉลากและฉลากที่คาดคะเนของเรา
‫จากนั้นเราจะสร้างพล็อตที่ดูสวยงาม ซึ่งเป็นเมทริกซ์ความสับสนที่ดูดีโดยใช้พันธะ C
‫เราเคยเห็นสิ่งนี้มาก่อน
‫แผนที่ความร้อน
‫มหัศจรรย์.
‫ดังนั้นไปคิด
‫X เท่ากับ plt dot subplots ขนาด fig เท่ากับ 330 เปลี่ยนเป็นทริกเกอร์มีความสุขอีกครั้ง x เท่ากับ sas heatmap
‫มหัศจรรย์.
‫และเราจะผ่านมันไป ฟังก์ชันการเรียนรู้พลังจิต ถอนหายใจ สับสน เมทริกซ์ y ทดสอบ y ก่อน
‫แล้วเราต้องการเพิ่มคำอธิบายประกอบที่นี่
‫ได้โปรด
‫คำอธิบายประกอบเท่ากับจริง
‫เราจะไปที่ C Bar เพราะเราไม่ต้องการไปที่ Calabar เพราะฉันเคยเห็น Calabar
‫แล้วและมันดูไม่ค่อยดีนักในเมทริกซ์ความสับสน PLT dot x label
‫True label แล้วเราจะมี plt y label จะไปทำนาย label แล้วมาดูกัน
‫เราจะไปพล็อตเมทริกซ์ความสับสนของรูปแบบคอมพ์ y, ทดสอบ y สเปรดกัน
‫ไม่นะ.
‫เราทำอะไรไปบ้าง?
‫ขนาดตัวอักษร.
‫ที่กล่าวว่าอัลฟองโซผิด
‫แท็บนี้คืออะไร?
‫โอ้ ขนาด
‫เราจะไปที่นั่น.
‫การเติมข้อความอัตโนมัติของแท็บในระหว่างการเดินทางเป็นแบบคลาสสิก และทำให้เรามีสิ่งเล็กๆ น้อยๆ ที่ถูกตัดออกที่นี่ เพื่อให้เราสามารถแก้ไขปัญหานี้ได้
‫ฉันเชื่อว่าการไปจากล่างขึ้นบนจะไป X dot get y lim Yep
‫แล้วเราก็อยากไปขวาน วิลเลียม
‫จัดชุดสวยๆหน่อย
‫วิลเลียม และมันจะเป็นระดับล่างสุด 0 5 อันดับแรก -0. 5.
‫แน่นอน ถ้าเมทริกซ์ความสับสนของคุณออกมาดูดี คุณอาจไม่ต้องการเส้นพวกนี้
‫แต่มันไม่สำคัญ
‫เราจะไปที่นั่น.
‫เราอาจจะดูดีขึ้นนิดหน่อย
‫ดังนั้นคุณจะเห็นได้ว่าโมเดลสับสน
‫ดังนั้นทำนายฉลากผิดค่อนข้างเหมือนกันในทั้งสองคลาส
‫โดยพื้นฐานแล้ว มีสี่ครั้งที่โมเดลคาดการณ์ศูนย์
‫ฉลากที่คาดการณ์ไว้จึงทำนายว่าบางคนไม่มีโรคหัวใจเมื่อควรได้รับการทำนายว่าเป็นโรคหัวใจ
‫นั่นคือผลลบลวง
‫มันเลยทำนายศูนย์แทนที่จะเป็นหนึ่ง
‫เชิงลบที่ผิดพลาด
‫จำไว้ว่า เมื่อเรากลับมาที่นี่ โมเดลลบเท็จทำนายศูนย์เมื่อความจริงเป็นหนึ่ง
‫และตรงนี้คือผลบวกลวง
‫ดังนั้นก. เค ก. เรามีสามกรณีที่ตัวแบบทำนายอย่างหนึ่ง มีคนเป็นโรคหัวใจทั้งๆ
‫ที่พวกเขาไม่ได้เป็นแบบนั้นจริงๆ
‫และคุณจะเห็นได้ว่าทั้งสองสิ่งนี้เป็นสิ่งที่เราต้องการหลีกเลี่ยง
‫ถูกต้อง.
‫โดยเฉพาะอย่างยิ่งเมื่อเรานึกถึงบางสิ่งที่ร้ายแรงหรือร้ายแรงอย่างโรคหัวใจ แม้กระทั่งการคาดเดาเมื่อไม่ปรากฏ
‫นี่ถ้าเราทำนายเป็นศูนย์
‫จึงไม่เกิดโรคเมื่อเป็นอยู่
‫โอเค แย่แล้ว
‫แต่ยังทำนายว่ามันอยู่ที่นั่นเมื่อไม่มีอยู่จริงนั่นก็แย่เช่นกัน
‫นั่นคือสิ่งที่คุณต้องพิจารณาเมื่อคุณสร้างแบบจำลองประเภทนี้
‫ผลลบลวงแย่ลงหรือผลบวกลวงแย่ลงหรือไม่?
‫และอีกครั้ง โมเดลที่สมบูรณ์แบบจะไม่มีสิ่งเหล่านี้ แต่ในความเป็นจริง คุณอาจจะต้องสับสนกับแบบจำลองของคุณ
‫คุณจะไม่เป็นไปตามอุดมคติ สิ่งเหล่านี้จะสมบูรณ์แบบข้ามตรงนี้ ข้ามเส้น
‫ตอนนี้เราได้สร้างเมทริกซ์ความสับสนแล้ว
‫เราได้สิ่งนั้นที่นั่น
‫เราสามารถแบ่งปันสิ่งนั้นกับเจ้านายของเราได้
‫เส้นโค้ง ROC ตรงนั้น
‫อะไรต่อไป?
‫รายงานการจำแนกประเภท
‫ตกลง.
‫และคงจะดีถ้าใช้การตรวจสอบความถูกต้องข้ามเมื่อเป็นไปได้
‫ไม่เป็นไร.
‫นั่นคือสิ่งที่เราอาจแก้ปัญหาในวิดีโอหน้า