‫ในวิดีโอที่แล้ว เราเลิกให้คะแนนโมเดลแมชชีนเลิร์นนิงที่เราปรับให้เข้ากับข้อมูลหลังจากที่เราเติมค่าตัวเลขทั้งหมด
‫เติมค่าตามหมวดหมู่ทั้งหมด และเปลี่ยนข้อมูลทั้งหมดของเราให้เป็นตัวเลข
‫โมเดลทำงาน
‫ข้อมูลของเราไม่มีค่าที่ขาดหายไปและเป็นตัวเลขทั้งหมด
‫แต่เราก็ปิดท้ายด้วยคำถามว่า ทำไมเมตริกนี้จึงไม่น่าเชื่อถือ
‫ให้ใส่ที่นี่ เพราะเป็นสิ่งที่ควรค่าแก่การเน้น เพราะจำไว้เสมอว่า การปรับโมเดลการเรียนรู้ของเครื่องให้เหมาะสม
‫หรือการประเมินโมเดลการเรียนรู้ของเครื่องมีความสำคัญพอๆ กับการปรับโมเดลให้เหมาะสม
‫และนั่นคือสิ่งที่เราทำอยู่ตอนนี้ เนื่องจากเราเพิ่งจะพอดีกับโมเดลการเรียนรู้ของเครื่อง
‫เราต้องตรวจสอบให้แน่ใจว่าผลลัพธ์ของเรามีน้ำ ถูกต้อง เพราะเราไม่ต้องการให้คำมั่นสัญญาในสิ่งที่แบบจำลองของเราทำไม่ได้
‫เลยถามว่าทำไมเมตริกด้านบนถึงไม่เก็บน้ำไว้?
‫ถือน้ำเป็นสำนวนว่าทำไมเมตริกไม่น่าเชื่อถือ?
‫นั่นเป็นเพียงวิธีการพูด
‫แล้วทำไมไม่เก็บน้ำ?
‫ทำไมมันไม่น่าเชื่อถือ?
‫คุณต้องคิดเกี่ยวกับมันหรือไม่?
‫ฉันจะแสดงไดอะแกรมที่อาจรีเฟรชหน่วยความจำของคุณหากเรากลับมาที่ประเด็นสำคัญของเรา
‫คุณจำได้ตั้งแต่เริ่มต้น แนวคิดที่สำคัญที่สุดในการเรียนรู้ของเครื่อง
‫โอเคทั้งสามชุด
‫สิ่งที่เราทำคือเราได้ฝึกโมเดลการเรียนรู้ของเครื่องในชุดข้อมูลเดียว แล้วเราทำอะไรลงไปบ้าง
‫เรากลับมาที่รหัส
‫เราพอดีกับรุ่น
‫เกี่ยวกับชุดข้อมูลของข้อมูลบางส่วน แต่เราได้ประเมินข้อมูลดังกล่าวในข้อมูลเดียวกันทุกประการ
‫เอ่อ.
‫อ๊ะ ถ้าเรากลับมาที่นี่ โดยพื้นฐานแล้ว สิ่งที่เราทำคือถ้าเราคิดว่านี่เป็นหลักสูตรของมหาวิทยาลัย
‫เราก็ได้เรียนรู้เนื้อหาหลักสูตรแล้ว
‫แต่สิ่งที่เราได้ทำลงไป แทนที่จะทดสอบแบบจำลองของเราเทียบเท่ากับการสอบปลายภาค หรือที่เรียกว่าชุดข้อมูลการทดสอบ
‫เราเพิ่งประเมินแบบจำลองการเรียนรู้ของเครื่องด้วยวัสดุเดียวกันกับที่เรียน
‫คุณอยู่ในชั้นเรียนหนึ่งและได้รับหนังสือให้อ่าน และในขณะเดียวกัน ก็เหมือนว่าคุณกำลังจะถูกทดสอบด้วยคำถามจากหนังสือที่คุณกำลังอ่านโดยตรง
‫อืม.
‫ตกลง.
‫แต่หลังจากที่โมเดลของเรามีความสามารถในการทำให้เป็นนัยทั่วไปและได้รับความสามารถสำหรับโมเดลการเรียนรู้ของเครื่องเพื่อให้ทำงานได้ดีกับข้อมูลที่ไม่เคยเห็นมาก่อน
‫นั่นคือสิ่งที่เราต้องการ
‫หากเราย้อนกลับไปที่ Kaggle
‫มีชุดข้อมูลการฝึกอบรมซึ่งมีข้อมูลจนถึงสิ้นปี 2554
‫มีชุดตรวจสอบและมีชุดทดสอบ
‫นั่นคือสิ่งที่เรากำลังตามหา
‫เราจำเป็นต้องประเมินแบบจำลองของเรา ไม่ใช่จากข้อมูลที่เราฝึกมา ซึ่งเราจำเป็นต้องประเมินจากข้อมูลการทดสอบ
‫แต่ก่อนที่เราจะทำอย่างนั้น
‫หากคุณจำแบ็คอัพที่ด้านบนได้ ให้ย้อนกลับไปด้านบนเพื่อนำเข้า data frame แรกของเรา
‫ฉันบอกว่าเราจะทบทวนเรื่องนี้อีกครั้ง และตอนนี้ก็ถึงเวลาแล้ว
‫ดังนั้นเราจึงไปที่นี่
‫เรานำเข้ามา
‫รถไฟและ csv ที่ถูกต้อง
‫อืม.
‫สงสัยว่าทำไมเราถึงทำอย่างนั้น?
‫ทุกอย่างจะชัดเจนในวิดีโอนี้
‫ดังนั้นเราจึงมีการฝึกอบรม csv ที่ไม่ถูกต้อง เรามี csv ที่ถูกต้อง และเราได้ลองดูเป็น v ทำไมเราไม่นำเข้าแยกกันล่ะ
‫ฉันต้องการแสดงให้เห็นว่าการสร้างชุดตรวจสอบความถูกต้องของคุณเป็นอย่างไร แทนที่จะให้คนอื่นสร้างชุดข้อมูลอนุกรมเวลาให้กับคุณ
‫ซึ่งเป็นสิ่งที่เรากำลังทำอยู่
‫นี่คือสนามเด็กเล่นที่สมบูรณ์แบบสำหรับสิ่งนั้น
‫ดังนั้นถ้าเราอ่านที่นี่ รถไฟ CSV คือชุดฝึกอบรม
‫โดยพื้นฐานแล้ว สิ่งที่เรากำลังทำและ CSV ที่ถูกต้องคือชุดการตรวจสอบ
‫จุดสำคัญที่นี่คือเนื่องจากเป็นอนุกรมเวลา ชุดข้อมูลการฝึกอบรมมีข้อมูลจนถึงสิ้นปี 2011
‫ในขณะที่ชุดการตรวจสอบความถูกต้องมีข้อมูลระหว่างวันที่ 1 มกราคม 2555 ถึง 30 เมษายน 2555
‫ดังนั้นสิ่งที่เราจะทำเพื่อประเมินโมเดลของเราให้ดีขึ้น เราจำเป็นต้องแยกข้อมูลออกเป็นชุดการฝึกอบรมและการตรวจสอบ
‫มาทำกัน
‫ไปที่นี่เพื่อแยกข้อมูลออกเป็นชุดการตรวจสอบความถูกต้องของรถไฟเพราะนั่นคือสิ่งที่เราต้องการ
‫ตอนนี้มีนางแบบแล้ว
‫เราสามารถสร้างแบบจำลองได้ในขณะนี้ แต่เราต้องสร้างแบบจำลองที่ดีกว่า เราต้องตรวจสอบให้แน่ใจว่าสิ่งที่เราประเมินนั้นสมเหตุสมผล
‫ลองตรวจสอบข้อมูลของเราอีกครั้ง เหมือนที่เราทำอยู่เสมอ
‫บางทีเราอาจใช้ปีที่เรียกว่าปีก็ได้
‫โอ้ใช่.
‫ดังนั้นคุณต้องพูด
‫โอ้ใช่.
‫เราจะไปที่นั่น.
‫ตกลง.
‫อาจเป็นเพราะดาต้าเฟรมของเราอยู่ในลำดับ
‫ใช่.
‫สิ่งนี้จะช่วยเราเมื่อเรานำเข้ากรอบข้อมูลของเรา
‫เราสั่งซื้อตามลำดับวันที่ขาย
‫ดังนั้นเมื่ออ่านข้อความนี้เพื่อสร้างชุดการตรวจสอบความถูกต้อง เราต้องการแบ่งข้อมูลของเรา
‫ดังนั้นแถวทั้งหมดจนถึงปี 2011 ดังนั้นปีขายคือ 2011 ที่สามารถอยู่ในชุดฝึกอบรมได้
‫จากนั้นแถวทั้งหมดในปี 2012 ก็สามารถเป็นชุดตรวจสอบได้
‫เราจะไม่กังวลกับชุดทดสอบในตอนนี้เพราะอยู่ในชุดข้อมูลแยกต่างหาก
‫เหตุผลที่เราทำงานเฉพาะกับรถไฟและ CSV ที่ถูกต้องก็เพราะว่าเรานำเข้ารถไฟและ CSV
‫ที่ถูกต้องเมื่อเริ่มต้นสมุดบันทึก
‫ไฟล์นี้.
‫ดังนั้นเราจึงต้องสร้างชุดข้อมูลการตรวจสอบความถูกต้องของเราเอง
‫มาทำกัน
‫ดังนั้นเราจึงมีเทมเพลตสำหรับนักพัฒนา ตรวจสอบจำนวนมูลค่าปีที่ขาย
‫ไปเลย 2012
‫มีตัวอย่าง 11,573 ตัวอย่างในปี 2555
‫ไม่เป็นไร.
‫ดังนั้นเพื่อแบ่งข้อมูลของเราออกเป็นการฝึกอบรมและการตรวจสอบ ควรจะง่ายพอๆ กับการดำเนินการ โอเค มาทบทวนเรื่องนี้กัน
‫คอลัมน์ปีของเราและทุกคอลัมน์ที่เท่ากับปี 2012 จะเป็นชุดตรวจสอบสำหรับปีขายและตัวอย่าง และทุกแถวที่ไม่เท่ากับปีนั้น
‫ที่ไม่เท่ากับปี 2012 จะอยู่ในชุดการฝึก
‫หยุดพูดถึงมันเถอะ แดเนียล มาดูรหัสกัน
‫ดังนั้นแบ่งข้อมูลออกเป็นการฝึกอบรมและการตรวจสอบ
‫นี่คือสิ่งที่คุณอาจต้องทำกับข้อมูลอนุกรมเวลาของคุณเองใช่ไหม
‫เพราะคุณจะไม่ได้รับในรูปแบบ Kaggle เสมอไปใช่ไหม
‫เมื่อคุณทำงานกับลูกค้าหรือทำงานในโครงการ คุณจะไม่มีข้อมูลในการฝึกอบรม
‫ถูกต้อง และทดสอบโดยอัตโนมัติเสมอไป
‫นี่คือสิ่งที่คุณจะต้องสร้างขึ้นสำหรับตัวคุณเอง
‫ดูคอลัมน์ลดราคานี้หรือดูคอลัมน์เวลา ดูคอลัมน์วันที่ และค้นหาวิธีสร้างชุดการฝึกอบรมและการตรวจสอบความถูกต้องของคุณเอง
‫นั่นคือเหตุผลที่เรานำเข้าพวกเขาเป็นชุดเดียวเพื่อเริ่มต้น ดังนั้นเราสามารถฝึกสร้างชุดการฝึกอบรมและการตรวจสอบความถูกต้องของเราเอง
‫และฉันรู้สึกเหมือนกำลังพูดคำว่า set บ่อย แต่นั่นสำคัญเพราะเรากลับไปหาเรา
‫ประเด็นสำคัญ
‫นี่คือแนวคิดที่สำคัญที่สุดในการเรียนรู้ของเครื่อง เพราะไม่ว่าเราจะฝึกโมเดลอย่างไร เราต้องการให้แน่ใจว่าเรากำลังประเมินมันในอย่างอื่น
‫ดังนั้นมาที่นี่เพื่อตรวจสอบชุดทุกแถวใน DF temp ที่คอลัมน์ปีขายเท่ากับ 2012?
‫ใช่ที่ถูกต้อง.
‫และวันที่จัดชุดฝึกคือทุกแถวใน DF temp โดยที่คอลัมน์ปีเดียวกันไม่เท่ากับ 2012
‫มหัศจรรย์.
‫แล้วเราก็ไปกันได้ เลน
‫รถไฟ DF Val และ Len df
‫ทั้งหมดนี้จะบอกเราว่า ความยาวของกรอบข้อมูลทั้งสองนี้
‫สวยงาม.
‫ดังนั้น ตอนนี้ เรามีชุดการตรวจสอบความถูกต้องซึ่งมี 11,573 แถวและชุดข้อมูลการฝึกอบรมที่มี 401,125 แถวหรือตัวอย่าง
‫และแยกในวันที่
‫สวยงาม.
‫เรากำลังนำกล่องมาที่นี่
‫เรากำลังนำกล่องที่นี่
‫ตอนนี้สิ่งที่เราอาจทำคือแบ่งข้อมูลออกเป็น X และ Y
‫เราเคยเห็นสิ่งนี้มาก่อน
‫และด้วยวิธีนี้ เรามีชุดการฝึก X และชุดการฝึก Y และชุด X ที่ถูกต้อง และชุดที่ถูกต้อง Y ซึ่งเป็นข้อมูลและป้ายกำกับของเรา
‫เราจะมีรถไฟ X, รถไฟ y เท่ากับ DF
‫ตอนนี้เรากำลังทำงานกับชุดฝึกอบรมที่นี่
‫เราต้องการวางคอลัมน์ราคาขายบนแกนแรก a เค เพียงแค่วางคอลัมน์และเราจะตั้งค่าเป็นรถไฟ
‫DF
‫รถไฟ Y จะเท่ากับราคาขาย
‫ดูว่าฉันกำลังทำอะไรกับเครื่องหมายจุลภาคที่นี่
‫ฉันค่อนข้างยุ่งยากโดยทำในบรรทัดเดียว
‫สวยงาม.
‫และเรากำลังจะไปที่นี่
‫ถูกต้อง y ถูกต้อง
‫ไม่แน่ใจว่า df output drop sale ราคาเหมือนเดิมอีกครั้ง แต่คราวนี้ด้วยชุดตรวจสอบความถูกต้อง
‫df val dot นี่จะเป็นราคาขายจริงๆ
‫เราจะไปที่นั่น.
‫และตอนนี้เราจะตรวจสอบข้อมูลของเราเล็กน้อยเพื่อให้แน่ใจว่าเราไม่ได้ทำผิดพลาดเล็กน้อยในที่ที่คุณควรจะเป็นรูปร่างที่เปรียบเทียบกันได้
‫ทำไม
‫รูปร่างที่ถูกต้อง
‫เราก็แค่เอาชุดข้อมูลที่เราสร้างที่นี่ และเรากำลังมองหารูปทรงของพวกมัน
‫สวยงาม.
‫ดังนั้นชุดการฝึกของเราคือ 401,000 แถวหรือประมาณนั้นด้วยคุณสมบัติ 102 อย่าง 102 คอลัมน์
‫การฝึก Y ของเราคือ 401,000 แถว และการตรวจสอบความถูกต้องคือประมาณ 11 และครึ่งพันโดยมีจำนวนคอลัมน์เท่ากันสำหรับ X
‫และไม่มีคอลัมน์สำหรับ Y เนื่องจาก y เป็นเพียงคอลัมน์เดียว
‫มาดูกันเลย
‫ดูสิ นี่คือสิ่งที่เราทำ
‫ตรวจสอบให้แน่ใจว่าข้อมูลทั้งหมดของเรา
‫โอเค ทั้งหมดนี้เป็นราคาขาย
‫สวยงาม.
‫แอ่ว.
‫โอเค เรามีข้อมูลของเราในชุดฝึกและการตรวจสอบความถูกต้อง
‫เราได้ดูแลสองในสามสิ่งที่สำคัญที่สุดหรือชุดที่สำคัญที่สุด
‫เราจะดูที่ชุดทดสอบในภายหลัง
‫แต่นี่คือสิ่งที่เราได้สร้างขึ้น ชุดฝึกอบรมและชุดตรวจสอบ
‫ได้เวลาสร้างแบบจำลองเพิ่มเติมต่อไป
‫เราอาจจบวิดีโอนี้ที่นี่ และเราต้องหาวิธีประเมินโมเดลแมชชีนเลิร์นนิงของเรา
‫เราอาจจะได้เห็นสิ่งนั้นในวิดีโอหน้า