‫ยินดีต้อนรับกลับ.
‫ในวิดีโอล่าสุดนี้ เราใช้ความพยายามอย่างมากในการทำให้ข้อมูลของเราอยู่ในรูปแบบที่เข้าถึงได้
‫ตอนนี้เราได้ที่
‫เราเลยรีบไปดูกันเลย
‫เรามีป้ายกำกับการกลั่นแกล้ง ซึ่งเป็นป้ายกำกับในรูปแบบตัวเลข
‫เรามาดูสองข้อแรกกันก่อนจะได้ไม่เปลืองเนื้อที่มากนัก
‫เราจะไปที่นั่น.
‫นั่นเป็นความจริงและเท็จ
‫เราสามารถเข้าถึงสิ่งเหล่านั้นเป็นศูนย์และคนได้อย่างง่ายดายจริงๆ
‫และเช่นเดียวกันสำหรับเส้นทางไฟล์ของเรา
‫นี่คือภาพการฝึกของเราที่นี่
‫และเราเลิกคุยกันว่า Kaggle ไม่ได้ให้ชุดการตรวจสอบความถูกต้องแก่เราอย่างไร
‫ดังนั้นการสร้างชุดตรวจสอบความถูกต้องของเราเอง
‫และเนื่องจากชุดข้อมูลจาก Kaggle ไม่มา
‫ด้วยชุดการตรวจสอบ เราจะสร้างของเราเอง
‫และอย่าลืมว่าตั้งแต่ย้อนกลับไปใน Machine Learning 101 แนวคิดที่สำคัญที่สุดในการเรียนรู้ของเครื่องคือชุดสามชุด
‫โอเค ชุดฝึก ชุดตรวจสอบ และชุดทดสอบ
‫ตอนนี้เรามีชุดฝึกและชุดทดสอบแล้ว แต่เราต้องการชุดตรวจสอบความถูกต้องซึ่งก็คือ
‫a เค การสอบปฏิบัติ
‫เพื่อย้ำอีกครั้งว่า เราจะฝึกโมเดลแมชชีนเลิร์นนิงในชุดการฝึก เราจะประเมินมันในชุดตรวจสอบเพื่อดูว่าการทดลองของเราที่เราทำในชุดฝึกกำลังไปได้ดีหรือไม่
‫และสุดท้ายการสอบปลายภาคก็คือชุดทดสอบของเรา
‫ดังนั้นเราจึงต้องการชุดกลางเล็กๆ นี้เพื่อตรวจสอบการทดสอบครั้งแรกของเรา
‫นั่นคือเหตุผลที่เราจะสร้างชุดการตรวจสอบ
‫และตอนนี้เราจะใช้อะไรได้บ้าง
‫ที่ผ่านมาเราใช้อะไร?
‫ฉันอยากให้คุณคิดเกี่ยวกับเรื่องนี้
‫มันอยู่ในหมวดการยืมพลังจิต
‫ถ้าคุณบอกว่าแยกทดสอบรถไฟ คุณพูดถูก
‫ตอนนี้อาจทำให้สับสนเล็กน้อยเพราะมันบอกว่า train test split แต่จริงๆ แล้วฟังก์ชันของฟังก์ชันนี้ก็แค่แบ่งข้อมูลออกเป็นสองชุดที่แตกต่างกัน
‫ชุดหนึ่งมีขนาดที่แน่นอนและอีกชุดหนึ่งมีขนาดอื่น
‫มาตั้งค่ากันเถอะ
‫แต่ก่อนอื่น สิ่งที่เราอาจทำคือตั้งค่าตัวแปร X และ Y
‫ทีนี้ เหตุผลที่เราทำเช่นนี้ก็เพราะ
‫การต้องจำป้ายกำกับการกลั่นแกล้งและชื่อไฟล์นั้นค่อนข้างน่าเบื่อ
‫สิ่งที่เราทำได้คือสร้าง X ซึ่งเป็นตัวแปรมาตรฐานสำหรับข้อมูลของคุณ และ Y ซึ่งมักจะเป็นตัวแปรมาตรฐานสำหรับป้ายกำกับของคุณ
‫เราก็เลยจะทำสำเนาของพวกนั้น
‫สวยงาม.
‫และตอนนี้ เนื่องจากเรากำลังทำงานกับรูปภาพมากกว่า 10,000 ภาพ, 10,222 ภาพเป็นที่แน่นอน
‫เป็นความคิดที่ดีที่จะเริ่มทำงานกับส่วนหนึ่งของพวกเขาก่อนเพื่อให้แน่ใจว่าสิ่งต่าง ๆ กำลังทำงานอยู่ก่อนที่เราจะไปฝึกโมเดลการเรียนรู้ของเครื่องกับสิ่งเหล่านี้ทั้งหมด
‫นี่คือสิ่งที่ควรทราบสำหรับโครงการของคุณเองคือ เมื่อคุณทำการทดลอง จำเป้าหมายของเราได้ไหม?
‫เป็นการลดเวลาระหว่างการทดลองให้เหลือน้อยที่สุด เพื่อให้เราสามารถทราบได้ว่าสิ่งใดได้ผลและไม่ได้ผล
‫และถ้าเราใช้ 10,000 ตัวอย่างทุกครั้ง อาจใช้เวลาสักครู่
‫และถ้าคุณไม่เคยฝึกโมเดลแมชชีนเลิร์นนิงหรือโมเดลการเรียนรู้เชิงลึกด้วยภาพมากกว่า 10,000 ภาพ
‫ดังนั้นคุณไม่มีมุมมองว่าต้องใช้เวลานานแค่ไหน คุณสามารถใช้คำพูดของฉันได้ว่ามันจะใช้เวลานาน
‫ดังนั้นเราอาจลดขนาดลงและเริ่มต้นด้วยภาพประมาณ 1,000 ภาพ แล้วจึงเพิ่มตามที่เราต้องการ
‫เรามาเขียนบันทึกเล็กๆ น้อยๆ สำหรับตัวเราเองกัน
‫เราจะเริ่มทดลองภาพ 1,000 ภาพและเพิ่มขึ้นตามต้องการ
‫ไม่เพียงแต่รูปภาพเท่านั้น แต่สำหรับโปรเจ็กต์แมชชีนเลิร์นนิงทุกประเภท
‫และเราเคยเห็นสิ่งนี้ในอดีตโดยใช้ตัวอย่างข้อมูลของเรา
‫หากคุณกำลังทำงานเกี่ยวกับการจัดประเภทข้อความและมีอีเมล 100,000 ฉบับและต้องการจัดประเภทว่าเป็นสแปมหรือไม่ก็ตาม
‫คุณอาจเริ่มต้นด้วย 5000 เท่านั้นแล้วสร้างจากที่นั่น
‫ลองตั้งค่าพารามิเตอร์เล็กน้อย
‫ดังนั้นกำหนดจำนวนภาพที่จะใช้ในการทดลอง
‫ตอนนี้ฉันต้องการแสดงให้คุณเห็นบางสิ่งที่เจ๋งจริงๆ ภายใน CoLab ดังนั้นเราจะสร้างพารามิเตอร์เล็กๆ น้อยๆ
‫ที่นี่ และตอนนี้มันอยู่ในตัวพิมพ์ใหญ่ เพราะแบบแผนที่คุณเห็นที่นี่และที่นั่นด้วยโปรเจ็กต์การเรียนรู้เชิงลึกก็คือพารามิเตอร์ไฮเปอร์นั้น
‫ดังนั้นสิ่งที่คุณกำหนดได้ในฐานะผู้ใช้มักถูกตั้งค่าเป็นตัวพิมพ์ใหญ่
‫นั่นคือสิ่งที่คุณอาจเห็นตัวแปรเหล่านี้ที่มีตัวพิมพ์ใหญ่เต็มตัว
‫ไปที่ 1000 แล้วใน CoLab จะมีค่าเพียงเล็กน้อย
‫เย็นไปหน่อย
‫คุณสามารถ.
‫มันเหมือนกับฟังก์ชั่นมายากลที่เปรม
‫และตอนนี้ฉันยังคงทำงานเหล่านี้อยู่ ดังนั้นคุณอาจเสนอแนะเล็กน้อยว่าฉันจะหาวิธีใช้ประโยชน์จากสิ่งเหล่านี้ได้อย่างไร
‫ถ้าคุณคิดออก เพราะฉันรู้จักแค่สองสามคน
‫ตอนนี้ดูนี้
‫สิ่งที่เราทำคือเราเพิ่งไป เฮ้ นี่คือพารามิเตอร์ที่เราตั้งค่าได้
‫สร้างตัวเลื่อนประเภท
‫ขั้นต่ำคือ 1,000 สูงสุดคือ 10,000 และขั้นตอนคือ 1,000
‫ตอนนี้ภาพเพิ่งปรากฏขึ้น
‫ดูสิถ้าเราไปแบบนี้
‫โอ้ใช่.
‫5000.
‫8000.
‫ดีฉันสามารถเล่นกับสิ่งนั้นได้ทั้งวัน
‫นั่นคือสิ่งที่ CoLab มีเหนือดาวพฤหัสบดี นอกเหนือจากการสนับสนุนโดยขอบ GPU
‫เอาล่ะ ตอนนี้เรามีพารามิเตอร์เล็กน้อยแล้ว
‫เรามี X และ Y
‫มาใช้พลังจิตเรียนรู้ ฝึกทดสอบแยกกัน
‫ลองแยกข้อมูลของเราออกเป็นรถไฟและการตรวจสอบจากการแยกการทดสอบการป้อนข้อมูลการเลือกแบบจำลอง
‫อีกครั้ง นี่เรียกว่า train test split แต่ฟังก์ชันพื้นฐานของฟังก์ชันนี้คือการแยก
‫คุณสามารถทำได้ด้วยตนเองโดยใช้การจัดทำดัชนี แต่เราจะใช้ฟังก์ชันเพื่อช่วยเรา
‫เป็นเพียงการแบ่งข้อมูลออกเป็นสองชุดที่แตกต่างกันในการฝึกอบรมและการตรวจสอบความถูกต้องของขนาดทั้งหมด
‫ตอนนี้รูปภาพ
‫ซึ่งเป็นตัวแปรที่เราตั้งไว้ที่นี่
‫เรียกใช้เซลล์นั้น x, ฝึก x val ในครั้งนี้, ไม่ใช่ x ทดสอบ y, เทรน y val เท่ากับ การทดสอบรถไฟแยก x มากถึง num
‫ภาพ
‫ดังนั้นจะใช้ชื่อไฟล์เพียงพันชื่อแรกเท่านั้น เพราะอย่าลืมว่า X เป็นเพียงชื่อไฟล์ของเรา
‫เรายังไม่ได้นำเข้ารูปภาพของเราเพียงเพราะการทำงานกับชื่อไฟล์เพียงอย่างเดียวทำได้เร็วกว่ามาก
‫และเหตุใดฉลากของเราจึงอยู่ในรูปแบบบูลีน
‫และขนาดทดลอง
‫นี่เป็นเพียงการตรวจสอบความถูกต้องอีกครั้ง
‫ขนาดจะเป็น 20% จากนั้นสถานะสุ่มก็เหมือนกับการตั้งค่าเมล็ดสุ่ม
‫มันก็เหมือนกับการสุ่มเมล็ดไปที่ 42
‫ดังนั้นสถานะสุ่มเท่ากับ 42 เท่ากับการเพิ่มสุ่มเมล็ด 42
‫และถ้าคุณไม่แน่ใจว่าเมล็ดสุ่มทำอะไร มีวิดีโอเกี่ยวกับเรื่องนั้น
‫มิเช่นนั้นคุณอาจต้องการ Google อย่างรวดเร็ว
‫เมล็ดพันธุ์สุ่มทำอะไร?
‫ดังนั้นถ้าเราไป
‫Len X ฝึกเพียงเพื่อตรวจสอบความยาวทั้งหมดของข้อมูลของเราว่าถูกต้องเพราะคุณจะไม่เชื่อว่าจำนวนครั้งที่ฉันถูกเผาเพราะข้อมูลของฉันมีรูปร่างที่ผิด
‫คุณจะใช้เวลาหลายชั่วโมงในการต่อสู้เพื่อให้ข้อมูลของคุณอยู่ในรูปแบบที่ถูกต้อง
‫เชื่อฉัน.
‫ฉันเคยไปที่นั่น.
‫ได้เลย วิเศษมาก
‫เรามีตัวอย่าง 1,000 ตัวอย่าง และเรามีขนาดทดสอบ 20%
‫นั่นหมายความว่าจะมีตัวอย่าง 800 ตัวอย่างในการแบ่งการฝึก และ 200 ตัวอย่างในการแบ่งการตรวจสอบ
‫งั้นเราไปดูกันเลยดีกว่า
‫มาดูข้อมูลการฝึกกัน
‫ดังนั้น X ฝึกเพียงเพื่อยืนยันว่าเรายังอยู่บนโลกนี้
‫เรายังคงทำงานกับสิ่งที่ถูกต้อง
‫อันที่จริงมันก็มากเกินไปหน่อย
‫ฉันต้องจำไว้ว่าสิ่งเหล่านี้เป็นป้ายกำกับการกลั่นแกล้งแบบเต็มรูปแบบ ดังนั้นจึงมีมากที่นั่น
‫ฝึกฝน เรามีเส้นทางของไฟล์ใช่ไหม
‫นั่นคือสิ่งที่เราต้องการ
‫และอบรมเรื่องฉลากที่เรามี
‫ฉลากกลั่นแกล้ง
‫นั่นคือสิ่งที่เรากำลังตามหา
‫ไม่เป็นไร.
‫ตอนนี้เรามีข้อมูลของเราในชุดการฝึกอบรมและการตรวจสอบแล้ว เป็นส่วนย่อยเล็กๆ เพราะจำไว้ว่า เป้าหมายของเราที่จะเริ่มต้นคือการลดเวลาระหว่างการทดสอบให้เหลือน้อยที่สุด
‫สิ่งที่เราสามารถทำได้ในที่สุดคือเปลี่ยนรูปภาพหรืออย่างน้อยสร้างฟังก์ชันบางอย่างเพื่อเปลี่ยนรูปภาพและป้ายกำกับของเราให้เป็นกาล
‫ลองทำกันในวิดีโอหน้า