‫ยินดีต้อนรับกลับ.
‫ตอนนี้เรามาดูวิธีที่สามในการประเมินแบบจำลองพายุหมุน
‫และถ้าเราย้อนกลับไปที่เอกสารประกอบ นั่นคือผ่านฟังก์ชันเมตริก โดยเฉพาะในมาตราส่วนและเมตริก
‫และเรามีเมตริกการจัดประเภทที่เราเห็นคะแนนความถูกต้อง
‫เรามีความแม่นยำหรือไม่?
‫เราเคยเห็นสิ่งเหล่านี้มาก่อนแล้ว ซึ่งเป็นเมทริกซ์ความสับสนของรายงานการจำแนกประเภท
‫เอาล่ะ คะแนนความแม่นยำ คะแนนการเรียกคืน
‫แล้วเราก็มีเหมือนกันอีกครั้งสำหรับเมตริกการถดถอย
‫เรามีบางอย่างที่นี่
‫ค่าเฉลี่ยข้อผิดพลาดแบบสัมบูรณ์ ค่าเฉลี่ยข้อผิดพลาดกำลังสอง
‫ฉันออกคำท้าในวิดีโอที่แล้ว
‫โอ้ มีคะแนน R2
‫สวัสดี
‫ต้องลองแก้ไขปัญหาเหล่านี้สองสามข้อที่เราได้ดำเนินการมาจนถึงตอนนี้
‫ฉันหวังว่าคุณจะลองทำดู เพราะนั่นเป็นวิธีที่ดีที่สุดในการเริ่มฝึกด้วยตัวเอง
‫ก็แค่สำรวจเอกสาร เขียนโค้ด ทำข้อผิดพลาด แล้วดูวิธีแก้ไขตามที่คุณทำ
‫ตอนนี้ ให้เขียนหัวข้อเล็กๆ น้อยๆ โดยใช้เมตริกการประเมินที่แตกต่างกันเป็นฟังก์ชันการยืมพลังจิต
‫และเราจะไปที่นี่
‫วิธีที่สามในการประเมินแบบจำลองแมชชีนเลิร์นนิงแบบไซโคลนเฉือนการประมาณการขณะที่ใช้คำศัพท์โดยประมาณ
‫ฉันชอบคำว่า model คือการใช้โมดูลไซโคลนดอทเมทริกซ์ จากนั้นเราจะเชื่อมโยงเอกสารที่นั่นและเปลี่ยนให้เป็นมาร์กดาวน์
‫สวยงาม.
‫มาเริ่มเขียนโค้ดกันเลย
‫เราจะเริ่มต้นด้วยปัญหาการจัดหมวดหมู่ของเรา
‫เราจะใส่จากเมทริกซ์ไซโคลน นำเข้าคะแนนความถูกต้อง
‫เราจะได้ความแม่นยำ เราจะได้คะแนนที่แม่นยำ เราจะได้คะแนนการเรียกคืน บางทีนั่นอาจจะเพียงพอแล้ว
‫โอ้ แล้วเราจะทำ f one ด้วยไหม?
‫ทำไมจะไม่ล่ะ?
‫เราจะมีความสมบูรณ์เล็กน้อยจากนั้นเราจะได้แบบจำลอง
‫จาก Cyclone Ensemble เราต้องการนำเข้าตัวจำแนกฟอเรสต์แบบสุ่ม แล้วเราจะได้อะไรอีก
‫เราก็อาจจะถูกฝึกให้แยกจากกันก็ได้
‫ทำไมเราไม่ทำอย่างนั้น?
‫จาก SRC เรียนรู้การเลือกรุ่น
‫เราจะพูดถึงขั้นตอนการทำงานทั้งหมดอีกครั้ง
‫การคัดเลือก นำเข้า ฝึกอบรม ทดสอบ แยกส่วน
‫ดังนั้นฉันจึงอยากให้คุณลองทำดู
‫สร้าง X และ Y
‫จากนั้น ฉันต้องการให้คุณแยกข้อมูล จากนั้นสร้างโมเดล Y ปรับโมเดล แล้วประเมินโมเดลโดยใช้ฟังก์ชันการประเมิน
‫ที่เราเพิ่งนำเข้ามาที่นี่ คุณจึงมีการคาดคะเนและตรวจดูเอกสารประกอบของสิ่งเหล่านี้
‫หากคุณต้องการทราบว่ามันคืออะไร
‫นี่เป็นเพียงเมตริกการจัดหมวดหมู่หลักที่เราครอบคลุมถึงความแม่นยำ ความแม่นยำ การเรียกคืน
‫และ F หนึ่ง
‫มีอีกสองสามที่นี่สำหรับการจัดหมวดหมู่
‫หากคุณต้องการดูข้อมูลเพิ่มเติม โปรดข้ามไปที่เอกสารประกอบ
‫ฉันแค่แบ่งปันบางส่วนที่คุณเห็นบ่อยที่สุด
‫เหมือนกันจากการถดถอย
‫มีบางอย่างมากกว่าที่เรากล่าวถึง
‫หากคุณต้องการอ่านเพิ่มเติม เอกสารประกอบอยู่ที่นี่แล้ว
‫ตอนนี้.
‫ฉันจะให้คุณลองดูเพื่อเติมเต็มมัน
‫ในระหว่างนี้ เราจะเตรียมตัวอย่างไรสำหรับการถดถอยเช่นกัน ตั้งแต่การนำเข้ามาตราส่วน R ไปจนถึงคะแนน
‫ซึ่งเป็นค่าสัมประสิทธิ์การกำหนด
‫ข้อผิดพลาดแน่นอนหลัก
‫ค่าหลักของความต่างของการคาดการณ์ของแบบจำลองของคุณกับค่าจริงหมายถึงความคลาดเคลื่อนกำลังสอง ค่ากำลังสองของการคาดคะเนโมเดลของคุณ
‫หรือข้อผิดพลาดของการคาดคะเนของแบบจำลองของคุณเมื่อเปรียบเทียบกับป้ายกำกับจริง
‫แล้วเราก็จะได้สกายลอน
‫เราจะได้โมดูลทั้งมวล และเราจะนำเข้าการถดถอยฟอเรสต์แบบสุ่มที่เที่ยงตรงของเรา
‫และเรายังได้ เราจะได้สิ่งเดียวกันกับที่เรามีข้างต้น
‫ไม่จำเป็นต้องเขียนสิ่งนี้เสมอไปเพราะมันนำเข้าแล้ว
‫แต่เพียงเพื่อให้โค้ดแต่ละส่วนนี้แยกจากกัน ฉันจะคัดลอกลงไปที่นี่
‫มันจะเป็นการจัดวางแบบเดียวกันเป๊ะๆ
‫นั่นคือความสวยงามของห้องสมุดกายสิทธิ์ นั่นคือขั้นตอนการทำงานส่วนใหญ่คล้ายกัน ขึ้นอยู่กับปัญหาที่คุณกำลังทำอยู่
‫ดังนั้นคุณสามารถหยุดวิดีโอชั่วคราวที่นี่ พยายามกรอกทั้งสองอย่าง
‫ถ้าไม่ เราจะทำต่อในอีกสามวินาที 3 ต่อ 1
‫ฉันหวังว่าคุณจะลองดู แต่ตอนนี้เรามาลงมือทำกัน
‫เฮ้ เราต้องสร้าง X และ Y
‫เราอาจจะเริ่ม
‫นี่เป็นสิ่งหนึ่งที่ฉันพลาดไปที่นี่จริงๆ
‫สุ่มเมล็ดแล้วเราจะไป x เท่ากับโรคหัวใจ
‫เราได้ทำสิ่งนี้มาสองสามครั้งแล้ว แต่เราจะวางเป้าหมายบนแกนแรก จากนั้นเราจะตั้งค่า
‫Y ให้เท่ากับค่าเป้าหมาย ข้อมูลแยกเป้าหมายโรคหัวใจ
‫ดังนั้นถ้าเราทำสิ่งนี้ได้ด้วยใจ x รถไฟ x การทดสอบมาก่อน
‫ใช้เวลาสักครู่ในการเรียนรู้คำสั่งนั้น แต่จำค่า x ของการทดสอบรถไฟก่อน จากนั้น y ให้ค่าการทดสอบรถไฟ
‫แยกการทดสอบรถไฟ
‫เราจะแยก x กับ y
‫จำไว้ว่านี่จะแบ่งเพียงครั้งเดียวแทนที่จะเป็นสิ่งที่เราเห็นก่อนหน้านี้ซึ่งเป็นการตรวจสอบความถูกต้อง
‫การแยกออกเป็น end split หรือ K splits เป็นคำที่มักใช้
‫K อาจเป็นสาม K อาจเป็นสอง K อาจเป็นสิบ K อาจเป็นห้า
‫ผ่านการสุ่มลักษณนามของป่า
‫เราจะปล่อยให้เป็นพารามิเตอร์เริ่มต้น
‫เราจะปรับโมเดลให้พอดีกับข้อมูลการฝึก
‫ตัวเองไม่พอดีกับคุณสมบัติและป้ายกำกับ x train y train
‫ตอนนี้ เราจะประเมินแบบจำลองโดยใช้ฟังก์ชันการประเมิน
‫อย่างไรก็ตาม สิ่งที่คุณอาจพบเป็นอีกสิ่งหนึ่งที่ฉันพลาดไป ดังนั้นบางทีฉันอาจตั้งใจทำเมทริกซ์การจัดหมวดหมู่นี้ในชุดทดสอบ
‫ก็คือวิธีใช้ฟังก์ชันเหล่านี้โดยเฉพาะ
‫ทีนี้ ความแม่นยำที่เราเคยเห็น เราอาจจะเคยเห็นมันมาก่อน แต่ก็ไม่เป็นไร
‫ถ้าเราไม่ได้เราจะครอบคลุมพวกเขา
‫เราได้ทำตามขั้นตอนที่คล้ายคลึงกันหลายอย่างกับสิ่งที่เรากำลังจะดู
‫เรามีค่าทดสอบ Y
‫แต่ถ้าเราดูเอกสารของคะแนนความแม่นยำเราจะได้อะไร?
‫ความแม่นยำ คะแนนการจำแนก
‫เราจำเป็นต้องเปรียบเทียบค่าจริงของ Y ซึ่งในกรณีของเราคือการทดสอบฉลากกับค่าการทำนาย Y ซึ่งเป็นการคาดคะเนของแบบจำลองของเรา
‫ดังนั้นเราจึงสามารถใส่การทดสอบ X ทำนายตัวเองที่นี่ แต่แทนที่จะเขียนการทำนายตนเองใหม่ตลอดเวลา
‫ถ้าเราไปที่นั่น และนี่ควรให้ค่าเราคูณ 100 และเราจะจัดรูปแบบเป็นทศนิยมสองตำแหน่ง ใส่เครื่องหมายเปอร์เซ็นต์ไว้ด้านหลังตรงนี้แล้วดูว่ามันจะออกมาเป็นอย่างไร
‫X ใช่ ไม่ได้กำหนด
‫เราต้องการสิ่งนั้นในการทดสอบ x หรือไม่?
‫เราจะไปที่นั่น.
‫ตกลง.
‫อย่างไรก็ตาม ทำไมเราไม่ลองคาดการณ์และนำมันกลับมาใช้ใหม่ล่ะ?
‫ดังนั้นให้ทำนายที่เราต้องการเอง
‫ทำนายผลการทดสอบ s x และสเปรด Y จะเท่ากับค่านั้น
‫ดังนั้นหากเราคัดลอกบรรทัดนี้, เราควรได้ค่าเดียวกันสำหรับสเปรด y เพราะมันก็แค่สิ่งเดียวกัน ยกเว้นว่าเราแค่ใส่มันลงในตัวแปร
‫ใช่ เราไปกันเลย
‫อย่างนั้นก็ดีขึ้นหน่อย
‫และเราจะกำจัดสิ่งนี้ ลบสิ่งนั้น
‫แล้วเราจะเอาอันนี้ไหม คัดลอกนี่เพราะเราต้องการอันหนึ่งสำหรับการเรียกคืนที่แม่นยำ f หนึ่ง
‫เมตริกเหล่านี้คืออะไร
‫จำ F หนึ่งได้อย่างแม่นยำอีกครั้ง เราสามารถใช้เพิ่มอีกสองสามอย่างหากต้องการเพราะเรามีเมตริกการจัดหมวดหมู่มากมายที่นี่
‫แต่สิ่งเหล่านี้เป็นสิ่งที่พบได้บ่อยที่สุด บางอย่างที่สำคัญที่สุด
‫เราจะเปลี่ยนสิ่งนี้เป็นความแม่นยำ
‫เราจะเปลี่ยนอันนี้เป็นจำ และเราจะเปลี่ยนอันนี้เป็น F หนึ่ง
‫เราสามารถทำสิ่งเดียวกันได้อีกครั้ง
‫ความแม่นยำ โรงเรียนแม่นยำ คะแนนการเรียกคืนและหนึ่งคะแนน
‫แล้วเราก็ไม่ต้องจัดรูปแบบเป็นเปอร์เซ็นต์ด้วย
‫ที่จะทำ
‫ความแม่นยำเป็นสิ่งที่คุณจะพบได้บ่อยเป็นเปอร์เซ็นต์
‫โอ้เราพลาดอะไรที่นี่?
‫โอ้ เราพลาดจุดสิ้นสุดของ docstring หรือสตริงที่จัดรูปแบบ
‫คุณรับเรื่องนั้นไหม
‫เราจะไปที่นั่น.
‫สวยงาม.
‫เราสามารถตัดมันให้เหลือจุดทศนิยมสองสามตำแหน่ง แต่ก็ไม่เป็นไร
‫ดังนั้นเราจึงไป
‫ตอนนี้เราได้เห็นวิธีที่สามในการใช้การวัดมูลค่าเป็นฟังก์ชันบรรทัดที่สองแล้ว
‫ตอนนี้สำหรับการจัดหมวดหมู่
‫ฉันจะหยุดวิดีโอชั่วคราวหรือให้คุณหยุดวิดีโอชั่วคราวอีกครั้ง และดูว่าคุณสามารถทำซ้ำสิ่งที่เราทำเพื่อจัดหมวดหมู่ได้หรือไม่
‫คุณจะต้องเพิ่มในขั้นตอนพิเศษที่นี่ ทำการคาดคะเนกับแบบจำลอง เพราะการประเมินแบบจำลองคืออะไร
‫การประเมินแบบจำลองเป็นการเปรียบเทียบการคาดการณ์ของแบบจำลองของเรากับข้อมูลความจริงพื้นฐานที่สำคัญมาก
‫สิ่งสำคัญเท่ากับการฝึกโมเดลคือการประเมินโมเดลนั้น
‫ดังนั้นให้ยิง
‫มิฉะนั้น เราจะเขียนต่อกันใน 3 ต่อ 1
‫ยินดีต้อนรับกลับ.
‫ฉันหวังว่าคุณจะให้ภาพการประเมินแบบจำลองการถดถอยโดยใช้ฟังก์ชันการประเมินบางอย่างที่นี่
‫และเราได้ทั้งหมดนี้จากโมดูลเมตริก โมดูลเมตริกการถดถอย จากเอกสารเกี่ยวกับพายุหมุน
‫และหากคุณสงสัยว่าเหตุใดแดเนียลจึงอ้างถึงเอกสารดังกล่าวมากขนาดนั้น
‫ก็เพราะว่าคุณกำลังจะทำสิ่งนั้นมาก และที่จริงแล้วฉันทำอย่างนั้นเยอะมาก
‫ดังนั้นฉันจึงพยายามบอกนิสัยบางอย่างที่ฉันใช้ในแต่ละวันในฐานะวิศวกรการเรียนรู้ของเครื่องหรือนักวิทยาศาสตร์ข้อมูล
‫เราจะสร้าง X และ Y ที่นี่ และการอ้างถึงเอกสารประกอบเป็นหนึ่งในนิสัยที่สำคัญที่สุดที่คุณจะพัฒนาได้
‫แน่นอน คุณสามารถค้นหาสิ่งต่าง ๆ ได้ แต่ในที่สุด คุณก็แค่ย้อนกลับไปอ่านเอกสารหรือค้นหา
‫อ่านเอกสาร ค้นหา อ่านเอกสาร เขียนโค้ด ทำผิด ทำถูกต้องครั้งแล้วครั้งเล่า
‫.
‫ทดลอง ทดลอง ทดลอง.
‫เราจะสร้างข้อมูลแยก
‫เราเคยเห็นมาก่อนแล้ว
‫เราจะยกตัวอย่างโมเดลว่าคืออะไร?
‫เพราะเรากำลังทำงานเกี่ยวกับปัญหาการถดถอย
‫เราจะกำหนดให้เป็นผู้รุกรานป่าแบบสุ่ม
‫เราจะปล่อยให้มันอยู่กับพารามิเตอร์เริ่มต้นที่เราจะปรับให้เข้ากับโมเดลบนโมเดลข้อมูลการฝึกไม่พอดีกับ
‫X train, y train
‫และตอนนี้เราสามารถทำนายได้
‫นั่นคือขั้นตอนพิเศษที่เราต้องเพิ่มในนี้ ซึ่งเป็นเพียงการทำนายแบบจำลองในการทดสอบ X
‫เราจะตั้งค่านี้เป็นตัวแปร Y สเปรด เราสามารถเปลี่ยนชื่อได้
‫มันจึงไม่เหมือนกับที่อยู่บนนี้ แต่ก็ไม่เป็นไร
‫และตอนนี้เรากำลังจะประเมินโดยใช้เมทริกซ์การถดถอยในชุดทดสอบ เพื่อที่เราจะสามารถพิมพ์ F หา R สองคะแนนก่อน
‫เราจึงอยากให้ R ทำคะแนน
‫เราจะจัดรูปแบบด้วย R เพื่อทำคะแนนด้วย y ทดสอบ y ก่อน จากนั้นเราต้องการ โอ้ เราไม่ได้จุดสิ้นสุดของสตริงตรงนั้น
‫เราต้องการพิมพ์
‫เรามีความหมายอะไรอีก
‫ผิดพลาดแน่นอน
‫แม่ก็ใจร้ายได้
‫แอบโซลูท.
‫เรามี?
‫ใช่ เรามีการเติมข้อมูลอัตโนมัติล่วงหน้า
‫แล้วสุดท้ายพิมพ์จะได้อะไรเลอะเทอะ
‫ยุ่งเป็นหมายถึงยุคกำลังสอง
‫ทดสอบทำไมก่อนแล้วจบที่นั่น
‫ไม่นะ.
‫เราผิดอะไร?
‫ฉันเพิ่งเรียนเมทริกซ์ค่าเฉลี่ยความคลาดเคลื่อนกำลังสอง
‫เราพิมพ์ผิด
‫จับมาก่อนไหม.
‫ค่าเฉลี่ยข้อผิดพลาดกำลังสอง
‫เราเรียกใช้สิ่งนั้น
‫มันจะพอดี
‫โมเดลอาจใช้เวลานานกว่าการจัดประเภทเล็กน้อย เนื่องจากชุดข้อมูลเคสของเรามี 20,000
‫แถว
‫อ้าว เราผิดอะไร
‫ไม่ได้กำหนดไว้ล่วงหน้า Y
‫โอ้ เราต้องการ y preds
‫เราจะไปที่นั่น.
‫เขาอาจจะจับคำผิดนั้นได้อีก
‫เพียงฝึกโมเดลใหม่ที่นั่น
‫ประเมินมันอีกครั้ง
‫อีกครั้ง ความแตกต่างระหว่างการประเมิน cross val กับตัวชี้วัดการถดถอยหรือตัวชี้วัดการจัดหมวดหมู่ที่นี่คืออะไร
‫ตัววัดเหล่านี้พบได้ในการทดสอบรถไฟแยกหนึ่งส่วน เทียบกับตัวชี้วัดเหล่านี้ในที่นี้ พบได้ในการทดสอบแยกรถไฟหลายชุดโดยใช้การตรวจสอบความถูกต้อง
‫เมตริกเหล่านี้ใช้เวลาในการค้นหานานกว่า เนื่องจากคุณต้องฝึกโมเดลหลายตัวและประเมินโมเดล
‫อย่างไรก็ตาม โดยทั่วไปจะเป็นเครื่องบ่งชี้ที่ดีกว่าว่าโมเดลของคุณจะทำงานอย่างไรนอกโน้ตบุ๊ก
‫Jupyter กับข้อมูลที่มองไม่เห็น จากนั้นเพียงแบ่งเพียงครั้งเดียว
‫ดังนั้นจงจำไว้
‫สวยงาม.
‫เรามีเมตริกการถดถอยในชุดการทดสอบ ดังนั้นเราจึงใช้เวลาสักครู่ แต่ฉันต้องการใช้เวลามากในส่วนนี้เนื่องจากการประเมินแบบจำลองเป็นสิ่งสำคัญมาก
‫ดังนั้น หากคุณต้องการอ่านเพิ่มเติมเกี่ยวกับเรื่องนี้ โปรดดูเอกสารประกอบ
‫เราได้ครอบคลุมวิธีการให้คะแนนโดยประมาณ เราได้ครอบคลุมพารามิเตอร์การให้คะแนน และเราได้ดูฟังก์ชันเมตริกแล้ว
‫ยังมีอีกมากที่นี่ แต่คุณได้เห็นปมของทั้งสามสิ่งนี้แล้ว
‫ทีนี้ลองหาว่าเรากำลังพูดถึงอะไร
‫เราจะดูที่รายการของเรา
‫เราผ่านอะไรมาบ้าง
‫Zero และ end to end เวิร์กโฟลว์
‫เตรียมข้อมูลให้พร้อม
‫เลือกอัลกอริธึมสแลชตัวประมาณที่เหมาะสมกับปัญหาของเรา
‫พอดีกับรุ่น
‫การประเมินแบบจำลองและข้อที่ห้า เรากำลังปรับปรุงแบบจำลอง
‫นี่เป็นเรื่องที่น่าตื่นเต้นมาก
‫ดังนั้นเราจึงได้กล่าวถึงส่วน Psych Learn มากมาย แต่เรายังมีอีกเล็กน้อยที่จะไป
‫เจอกันใหม่ตอนหน้าค่ะ
‫ลองคิดดูว่าเรามีเมตริกเหล่านี้หรือไม่
‫เราจะปรับปรุงพวกเขาให้ดีขึ้นได้อย่างไร?
‫เราได้บอกใบ้ไปแล้วในวิดีโอที่แล้ว แต่ตอนนี้ มาเจาะลึกกัน
‫เจอกันใหม่ตอนหน้าค่ะ