‫มหัศจรรย์.
‫เราได้เห็นวิธีดูอย่างรวดเร็วว่าโมเดลแมชชีนเลิร์นนิงของเราทำงานอย่างไรและประเมินโดยใช้วิธีการให้คะแนน
‫และนั่นจะคืนค่าเมตริกการประเมินเริ่มต้นโดยขึ้นอยู่กับปัญหาที่เรากำลังดำเนินการในการถดถอย
‫มันกลับมาที่ ค่าสัมประสิทธิ์ของการกำหนดและในการจัดประเภทจะส่งกลับค่าความแม่นยำเฉลี่ย
‫อย่างไรก็ตาม เมื่อคุณประสบปัญหาเพิ่มเติม มีแนวโน้มว่าคุณจะต้องเริ่มใช้เมตริกที่ทรงพลังกว่านี้เพื่อประเมินประสิทธิภาพของโมเดลของคุณ
‫ขั้นตอนต่อไปจากการใช้คะแนนก็คือการใช้พารามิเตอร์การให้คะแนนแบบกำหนดเอง
‫ดังนั้นถ้าเราเห็นที่นี่ เราได้ดูการประมาณนี้ วิธีให้คะแนน และตอนนี้เราจะดูที่การใช้เครื่องมือประเมินแบบจำลองพารามิเตอร์การให้คะแนน
‫โดยใช้การตรวจสอบข้าม
‫ทั้งหมดที่เราอาจจะต้องดูว่ามันคืออะไร
‫ลองดำดิ่งลงไป
‫เฮ้ สิ่งที่เราจะทำคือทำสิ่งนี้ให้สำเร็จ
‫ตอนนี้ คุณจะต้องอดทนกับฉันสำหรับวิดีโอสองสามเรื่องถัดไป เพราะเราจะพูดถึงเรื่องนี้เล็กน้อย
‫เหตุผลก็เพราะการประเมินโมเดลการเรียนรู้ของเครื่องเป็นขั้นตอนที่สำคัญมาก
‫การเรียกใช้ฟังก์ชัน fit กับข้อมูลบางอย่างเป็นเรื่องหนึ่ง แต่สิ่งที่สำคัญรองลงมาคือ เฮ้
‫โมเดลนั้นใช้งานได้จริงหรือ
‫มันกำลังเรียนรู้อะไรบางอย่าง?
‫เราสามารถใช้สิ่งนั้นเพื่อทำนายอนาคตได้หรือไม่?
‫นั่นคือเหตุผลที่ฉันแน่ใจว่าเรากำลังครอบคลุมพื้นที่มากมายที่นี่
‫มาเริ่มกันเลยดีกว่า
‫สิ่งที่เราจะทำคือเริ่มจากมาตราส่วน เรียนรู้การเลือกแบบจำลอง ข้ามการนำเข้า คะแนนเสียงสระ
‫และเช่นเคย เราจะเรียกใช้โค้ดก่อนที่เราจะเจาะลึกถึงสิ่งที่เกิดขึ้นจริง
‫และสิ่งที่เราต้องการคือรหัสการจำแนกประเภท
‫สิ่งที่เราจะทำ เราสามารถคัดลอกได้
‫ยังไงก็ตาม คุณได้รับอนุญาตให้คัดลอกได้ เพราะเราเขียนไว้สองสามครั้งแล้ว
‫สิ่งเดียวที่แตกต่างไปจากสิ่งที่เราทำคือ เราได้นำเข้าคะแนนเสียงสระจากพายุไซโคลน
‫การเลือกรุ่น
‫สิ่งต่อไปที่เราจะทำเพราะเราเรียกว่า fit ตรงนั้น เราแค่ใส่เครื่องหมายอัฒภาคเล็กๆ น้อยๆ
‫เราจะได้ผลลัพธ์ที่ไม่มากนัก
‫คุณรู้อะไรไหม?
‫คำเตือนนี้ยังคงเกิดขึ้น ดังนั้นเราอาจแค่เปลี่ยนแปลงสิ่งนั้นไปเรื่อยๆ
‫ค่าประมาณเท่ากับ 100 วิเศษมาก
‫และคะแนนเสียงสระไขว้ มันมีคะแนนคำอยู่ในนั้น แต่เราเคยเห็น
‫สระไม้กางเขนนี้ทำอะไร?
‫มาดูกันดีกว่า
‫ไปดูคะแนนกันเลย
‫เราจะทำข้อมูลทดสอบก่อนเพื่อเปรียบเทียบ จากนั้นเราก็ทำเช่นเดียวกัน
‫แต่คราวนี้การใช้คะแนนเสียงสระข้าม คะแนนเสียงสระข้าม และคะแนนเสียงสระข้ามใช้ตัวแยกประเภทของเรา
‫ใช้ข้อมูล x และใช้ข้อมูล Y ไม่ใช่การทดสอบ
‫และไม่ใช่รถไฟ
‫เราจะดูว่าเกิดอะไรขึ้นในอีกสักครู่
‫ฮะ?
‫เกิดอะไรขึ้นที่นี่?
‫และอีกครั้ง เราได้รับคำเตือนอีกครั้ง
‫นี่เป็นเพียงการบอกว่าค่าเริ่มต้นของ CVE จะเปลี่ยนจาก 3 เป็น 5
‫ดังนั้นถ้าเราดูที่แท็บกะนี้
‫มาอ่าน docstring กัน
‫การประเมินคะแนนโดยการตรวจสอบความถูกต้อง
‫การตรวจสอบข้ามคืออะไร?
‫ดังนั้น CV จะเตือนเรา
‫นี่คือที่มาของคำเตือน
‫หากเราเปลี่ยนสิ่งนี้จาก CV เท่ากับ ค่าเริ่มต้นคือสาม
‫ถ้าเราเปลี่ยนเป็นห้า คำเตือนนั้นจะหายไป
‫และตอนนี้เรากำลังจะได้อาร์เรย์กลับของคะแนนที่แตกต่างกันห้ารายการ
‫อืม.
‫นั่นอาจเป็นความแตกต่างแรกที่คุณจะสังเกตเห็น
‫คะแนนเสียงสระข้ามจะส่งกลับอาร์เรย์ ในขณะที่คะแนนจะคืนค่าเป็นตัวเลขเดียวเท่านั้น
‫ตกลง.
‫แล้วเราจะคิดออกได้อย่างไร?
‫เราต้องคิดให้ออกว่าการตรวจสอบไขว้คืออะไร เพราะท้ายที่สุดแล้ว คะแนนเสียงข้ามกำลังทำอะไรอยู่
‫กลับมาที่ docstring ครับ
‫ประเมินคะแนนโดยการตรวจสอบความถูกต้องของลัคกี้
‫นี่คือสิ่งที่ฉันเตรียมไว้ก่อนหน้านี้เพื่อแสดง
‫และเช่นเคย ฉันเข้าใจสิ่งต่าง ๆ ดีขึ้น
‫ทางสายตา คุณอาจทำเช่นเดียวกันเพื่อแสดงให้เห็นว่าการตรวจสอบข้ามกำลังทำอะไรอยู่
‫สิ่งที่เราเคยทำมาก่อนในการแบ่งรถไฟปกติและการทดสอบ
‫ดังนั้นเราจึงแบ่งข้อมูลของเราออกเป็นการฝึกอบรม
‫นี่อาจเป็นที่พักก็ได้
‫เราเริ่มต้นด้วยบันทึกผู้ป่วย 100 รายการ
‫เราจะแยกมันเป็นการฝึกซ้อม
‫ในกรณีของเรา เราใช้ 80% และนี่จะมี X train และเราฝึก 80 ตัวอย่าง และฉันได้ใช้เลข
‫100 ตรงนี้
‫เรามีมากกว่านั้นจริงๆ
‫แต่นี่เป็นเพียงเพราะว่าตัวเลขทำงานได้ดีขึ้นที่นี่
‫และในชุดข้อมูลทดสอบ เรามีข้อมูล 20% ซึ่งจะมีการทดสอบ X และเราทดสอบ
‫ความแตกต่างที่นี่กับการตรวจสอบความถูกต้องและในกรณีของเรา ภาพนี้แสดงให้เห็นการตรวจสอบข้ามห้าเท่า
‫สิ่งที่คุณอาจเห็นการตรวจสอบไขว้ที่อ้างถึงคือ K พับโดยที่ K เป็นตัวเลขโดยพลการ
‫และเหตุผลที่เราใช้ 5 ก็เพราะถ้าเรากลับมาที่นี่ CV จะเท่ากับ 5 ตรงนั้น
‫นั่นหมายถึงการตรวจสอบข้าม
‫และนี่คือสิ่งที่ฉันกำลังพูดถึง โดยแบ่งข้อมูลของเราออกเป็นการฝึกและทดสอบโดยใช้ 20% สำหรับขนาดการทดสอบ
‫นั่นหมายความว่าอีก 80% ที่เหลือไปที่ข้อมูลการฝึก ซึ่งเป็นที่มาของการแบ่งส่วนเล็กๆ น้อยๆ
‫นี้
‫ทีนี้ สิ่งที่การตรวจสอบข้ามทำคือทำการแบ่งห้าส่วนที่แตกต่างกัน ดังนั้นจะใช้ 20% แรก
‫ลองดูว่านี่คือการใช้ส่วนท้าย 20% ที่นี่อย่างไร
‫ดังนั้น มันจะสร้างชุดข้อมูลทดสอบที่นี่ และชุดข้อมูลการฝึกที่นี่
‫จากนั้นจะย้ายไปที่นี่และใช้เป็นชุดข้อมูลทดสอบ
‫แล้วก็ครั้งแล้วครั้งเล่า
‫สิ่งที่เกิดขึ้นก็คือ การตรวจสอบความถูกต้องข้ามฝึกโมเดล 5 เวอร์ชันที่แตกต่างกัน จากนั้นจึงประเมินว่าโมเดลเหล่านั้นได้รับการฝึกฝนบนข้อมูลการฝึกอบรมแต่ละรายการในข้อมูลการทดสอบ
‫5 เวอร์ชันที่แตกต่างกัน
‫ดังนั้นจุดประสงค์ของสิ่งนี้คืออะไร?
‫อย่างที่คุณจินตนาการได้ หากเราฝึกแค่โมเดลเดียว มันอาจจะโชคดีก็ได้ เช่น พูดแบบนี้ 80%
‫ของแถวบอกว่ามีข้อมูลมากมาย และโมเดลก็สามารถเรียนรู้ได้ดีมาก 80
‫แถวเหล่านี้ ในบันทึกผู้ป่วย 80 รายการ
‫แล้วก็ได้คะแนนดีมากในชุดทดสอบนี้
‫นั่นเป็นภาพสะท้อนที่แท้จริงของวิธีที่โมเดลของเราจะเข้าใจข้อมูลหรือหารูปแบบในข้อมูลได้อย่างไร
‫ไม่ได้จริงๆ
‫ใช่ไหม เพราะมันเป็นแค่โชคใช่ไหม?
‫หากเราแยกแบบสุ่ม และบันทึกของผู้ป่วยอย่างง่ายจำนวนหนึ่งมาที่นี้ แล้วแบบจำลองก็หารูปแบบบางอย่าง
‫และส่งต่อไปยังชุดข้อมูลการทดสอบนี้
‫และมีคะแนนที่น่าทึ่ง
‫เราอาจจะหลอกตัวเอง
‫เราอาจหลอกตัวเองโดยคิดว่าแบบจำลองของเราดีกว่าที่เป็นจริงมาก
‫นั่นคือที่มาของการตรวจสอบความถูกต้อง
‫มีจุดมุ่งหมายเพื่อแก้ปัญหาการไม่ฝึกอบรมเกี่ยวกับข้อมูลทั้งหมด และหลีกเลี่ยงการได้รับคะแนนนำโชคจากข้อมูลเพียงส่วนเดียว
‫มันจะสร้างการแบ่งห้าแบบที่แตกต่างกัน
‫ดังนั้นไม่ว่าจะเกิดอะไรขึ้น โมเดลของเราจะฝึกอบรมข้อมูลทั้งหมดและประเมินผลจากข้อมูลทั้งหมด
‫และนี่คือเหตุผลว่าทำไมถ้าเรากลับมา
‫เพื่อดูคะแนนเสียงสระข้าม
‫นั่นเป็นเหตุผลที่ทำให้เรากลับมาห้าคะแนนที่แตกต่างกันที่นี่
‫โอ้ นั่นเริ่มมีเหตุผลแล้ว
‫ดังนั้นหากเราเรียกพารามิเตอร์คะแนนบนข้อมูลการทดสอบ X และข้อมูลการทดสอบ Y เท่านั้น ก็จะได้คะแนนกลับมาหนึ่งคะแนน
‫แต่ถ้าเราเรียกคะแนนเสียงไขว้เพราะเราย้อนกลับไปที่ภาพกราฟิกตรงนี้ มันจะแยกออกเป็นห้าส่วนที่แตกต่างกัน
‫และจำไว้, ห้าเท่าเป็นเพียงตัวเลขทั่วไป.
‫คุณสามารถทำสิบเท่า คุณสามารถทำสามเท่า
‫คุณสามารถทำได้ 100 เท่า
‫แต่ห้าเท่าเป็นค่าเริ่มต้นของไลบรารี และมักจะค่อนข้างดีขึ้นอยู่กับขนาดของข้อมูลของคุณ
‫เราจะใช้ห้าเท่าเพื่อสาธิตที่นี่
‫เพียงเพื่อพิสูจน์ให้คุณเห็น
‫เราสามารถเข้าไปที่นี่ได้
‫คะแนนเสียงสระข้าม
‫เราสามารถทำได้สิบ
‫นี่หมายความว่ามันจะแยกส่วนต่าง ๆ สิบส่วนให้เหมือนกันทุกประการ
‫แล้วส่งกลับสิบคะแนนที่แตกต่างกัน
‫คุณจะเห็นว่านี่เป็นตัวอย่างที่ดีในการแบ่งอันหนึ่ง ได้คะแนนเป็น 0 9 นั่นอาจเป็น 90% ซึ่งสูงกว่าตรงนี้
‫แต่เมื่อแยกกันในภายหลัง มันมีบางอย่างที่ต่ำกว่ามาก 72
‫สิ่งที่เราทำในที่นี้คือการหาตัววัดประสิทธิภาพที่เหมาะสมกว่าหรือตัววัดการประเมินสำหรับแบบจำลองของเราคือ
‫เราสามารถหาค่าเฉลี่ยของคะแนนทั้งห้านี้ได้
‫มาดูกันว่ามันเกิดขึ้น
‫เราจะทำทุกอย่างในเซลล์เดียว สุ่มเมล็ด
‫และสิ่งที่เราจะทำคือได้รับการฝึกอบรมครั้งเดียวและคะแนนการทดสอบแยก
‫ฉันจะทำให้แน่ใจว่าคะแนนเดี่ยวของ CLF เท่ากับการทดสอบคะแนน CLF X
‫มันจะใช้ข้อมูลเดียวกันนี้ในการทดสอบ Y
‫มหัศจรรย์.
‫แล้วเราจะใช้ค่าเฉลี่ยคะแนนการตรวจสอบไขว้ห้าเท่า
‫คะแนนของ Clef cross vowel เท่ากับ np ค่าเฉลี่ย จากนั้นเราต้องการคะแนน cross vowel x โอ้ ไม่ เราจำเป็นต้องส่งผ่าน
‫classifier ของเรา x y แล้วเราจะใช้ CV เท่ากับห้าแล้ว
‫เปรียบเทียบทั้งสอง
‫แล้วเราจะไปดูซิงเกิ้ลสดกัน
‫โรงเรียนแล้ว SEAL F Cross Val School
‫Byrne เราเห็นอะไรที่นี่?
‫ในกรณีของเรา
‫คะแนนเดี่ยวเดิมของเรา ซึ่งตอนนี้อยู่ด้านล่าง เป็นตัวเลขที่เหมือนกันทุกประการ เพราะเรากำลังใช้การสุ่มเมล็ดโดยใช้ข้อมูลการทดสอบเดียวกัน
‫คะแนนเดี่ยวของเราคือ 0 85.
‫แต่เมื่อเราใช้การตรวจสอบความถูกต้อง เมื่อเราใช้การแบ่งห้าครั้งเนื่องจาก KV เท่ากับห้า เราจะได้รับคะแนนเป็น
‫0 82.
‫มันเลยต่ำกว่าเล็กน้อย
‫แต่ในกรณีนี้ หากคุณถูกขอให้รายงานความถูกต้องของแบบจำลองของคุณ แม้ว่าจะต่ำกว่า คุณก็ควรเลือกใช้เมตริกการตรวจสอบความถูกต้องมากกว่าเมตริกการตรวจสอบความถูกต้อง
‫ตอนนี้อะไร?
‫เราไม่ได้ใช้พารามิเตอร์การให้คะแนนเลยด้วยซ้ำ
‫นั่นเป็นเพราะว่าโดยค่าเริ่มต้น มันถูกตั้งค่าเป็นไม่มี
‫มาดูกันเลย
‫ตั้งค่าพารามิเตอร์การให้คะแนนเป็นไม่มี
‫โดยค่าเริ่มต้น.
‫ดังนั้นถ้าเราเรียกคะแนนสระไขว้ C, l, f, x, y, CV เราสามารถผ่านคะแนนที่นี่ และมันจะไม่ถูกตั้งค่าเป็นไม่มี
‫แล้วถ้าเราทำ shift tab เกี่ยวกับสิ่งนี้ ฉันจะรู้ได้อย่างไร
‫โชคดีที่ docstring มีประโยชน์
‫C โดยค่าเริ่มต้น มันถูกตั้งค่าเป็นไม่มี
‫ดังนั้นหากเราเลื่อนลงไปเรื่อยๆ
‫ย้ายโน้ตบุ๊กของเราเพื่อให้สามารถเรียกสตริงการให้คะแนนได้ หรือไม่มี ค่าเริ่มต้นที่เป็นทางเลือก ไม่มี OC เอกสารการประเมินโมเดลสตริง
‫C
‫นั่นคือสิ่งที่เราได้มองขึ้นที่นี่
‫หรือให้คะแนนฟังก์ชันสแลชอ็อบเจ็กต์ที่เรียกได้โดยมีคะแนนลายเซ็นประมาณ
‫xy ซึ่งควรคืนค่าเพียงค่าเดียวหากไม่มีการประมาณค่าเป็นค่าเริ่มต้นของ scorer หากใช้
‫R เอาล่ะ นี่คือเหตุผลที่เรารู้ว่านี่คือความถูกต้อง เพราะถ้าพารามิเตอร์การให้คะแนนของคะแนน
‫Crosswell ไม่มี จะใช้พารามิเตอร์การให้คะแนนเริ่มต้นของการประมาณการของเราในกรณีนกฮูก
‫มันคืออะไร?
‫พารามิเตอร์การให้คะแนนเริ่มต้นของตัวแยกประเภทเท่ากับความแม่นยำเฉลี่ย
‫และเราเคยเห็นสิ่งนั้นที่ไหนก่อนที่จะเห็นในวิดีโอที่แล้ว
‫เมื่อเราไปดูคะแนนสดและเรากดแท็บ shift จะส่งกลับความถูกต้องหลักในข้อมูลการทดสอบและป้ายกำกับที่กำหนด
‫นั่นหมายความว่าเมื่อเราตั้งค่าการให้คะแนนเป็นไม่มี ระบบจะใช้เมตริกการประเมินที่เป็นค่าเริ่มต้นสำหรับการตรวจสอบข้ามบนตัวแยกประเภทของเรา
‫ดังนั้นถ้าเรากด shift และ enter
‫มันจะคืนค่าเดิม
‫หรืออาจจะแตกต่างกันเล็กน้อย จริงไหม?
‫เพราะเรายังไม่ได้ตั้งเมล็ดในเซลล์นี้
‫ค่าเหล่านี้จะต่างจากคะแนนเซลล์ไขว้ที่เราเห็นบนนั้น
‫ถ้าเราเรียกใช้ที่นี่ เราจะเห็นค่าที่คล้ายคลึงกัน
‫เราได้กล่าวถึงอะไรที่นี่?
‫อย่างที่คุณอาจเดาได้ พารามิเตอร์การให้คะแนนสามารถเปลี่ยนแปลงได้
‫ใช่ไหม
‫ดังที่เอกสารระบุไว้ เราสามารถนำเข้าพารามิเตอร์การให้คะแนนของเราเองได้ที่นี่
‫เราสามารถเปลี่ยนสิ่งนี้เป็นอย่างอื่นได้
‫นั่นคือสิ่งที่เรากำลังจะเริ่มครอบคลุมใช่ไหม?
‫เราจะมาดูในวิดีโอถัดไปกัน เมตริกการประเมินแบบจำลองการจัดหมวดหมู่อื่นๆ ที่เราสามารถใช้กับการตรวจสอบความถูกต้อง
‫และในขณะที่เราใช้การตรวจสอบความถูกต้อง อย่างที่เราเห็น
‫ในรูปภาพ.
‫Cross-Validation มีจุดมุ่งหมายเพื่อแก้ปัญหาการไม่ฝึกอบรมข้อมูลทั้งหมด
‫ถูกต้อง.
‫ดังนั้น เรากำลังสร้างโมเดลห้าแบบ และสุดท้ายเราก็มีโมเดลที่ได้รับการฝึกอบรมเกี่ยวกับข้อมูลทั้งหมด และหลีกเลี่ยงการได้รับคะแนนนำโชค
‫ดังนั้นการฝึกอบรมในการแยกเดี่ยว
‫และเราเห็นสิ่งนั้นในการดำเนินการ
‫ด้วยคะแนนแยกของเราที่นี่จะได้รับคะแนนที่สูงกว่าคะแนนการตรวจสอบความถูกต้องเล็กน้อย
‫โว้ว!
‫นั่นเป็นจำนวนมาก
‫ตอนนี้ เรายังมีอะไรต้องทำอีกนิดหน่อย
‫มาดูเมตริกการจัดหมวดหมู่เชิงลึกกัน
‫แล้วพบกันใหม่ในวิดีโอหน้าครับ