‫ฉันหวังว่าคุณจะพร้อม เพราะตอนนี้ถึงเวลาฝึกโมเดลเกี่ยวกับข้อมูลทั้งหมดแล้ว
‫เราตรวจสอบแล้วว่าทุกอย่างทำงานโดยผ่าน ตรวจสอบการคาดคะเนของแบบจำลองของเรา ประเมิน และดำเนินการ
‫ใช่ โมเดลของเราเรียนรู้อะไรบางอย่างอย่างแน่นอน แต่เนื่องจากเราฝึกฝนมันด้วยภาพนับพันเท่านั้น
‫เรามาดูกันว่าเราจะลองใน โมเดลเต็มรูปแบบเช่นการฝึกอบรมโมเดลการเรียนรู้เชิงลึกเต็มรูปแบบครั้งแรกของเราใน
‫10,000 ภาพบวก
‫และนี่คือจุดที่พลังของฟังก์ชันที่เราสร้างไว้ก่อนหน้านี้จะเข้ามามีบทบาทจริงๆ
‫ดังนั้นเรามาทำให้ตัวเองเล็กน้อย
‫การฝึกโมเดล จริงๆ แล้ว เรียกว่าการฝึกโมเดลสุนัขตัวใหญ่
‫และเราอาจใส่โมจิเล็กน้อยที่นี่
‫ในข้อมูลทั้งหมดและคุณได้รับมัน
‫เป็นโมเดลสุนัขตัวใหญ่เพราะเรากำลังฝึกภาพสุนัขจำนวนมาก
‫ฉันรักโครงการนี้ตอนนี้
‫ตัด.
‫สิ่งที่เราต้องการคือจำไว้ด้านบนสุด
‫ถ้าคุณทำไม่ได้ก็ไม่เป็นไร
‫เราจะดูที่มันตอนนี้
‫เรามี X และ y, len x, len y และนี่คือข้อมูลการฝึกทั้งหมดของเรา
‫นี่คือชื่อไฟล์และนี่คือป้ายกำกับ
‫ถ้าเรามาที่นี่ X คือชื่อไฟล์ทั้งหมดในรถไฟ
‫ถ้าเราดูที่ตัวแรกอาจเป็นสิบของ X, สิบของ X
‫นี่คือชื่อไฟล์ภาพการฝึกทั้งหมดของเรา
‫เราแยกสิ่งเหล่านี้ก่อนหน้านี้ออกเป็น X train ซึ่งมีความยาวเพียง 800
‫เราจะไปที่นั่น.
‫ดังนั้นถ้าเรามาดูที่ Land X Train
‫เพียง 800 ภาพ
‫ดังนั้นในขณะนี้ แบบจำลองของเราได้ฝึกเพียง 800 ภาพเท่านั้น
‫และถ้าเราต้องการดูว่าเหตุใด เหตุใดป้ายกำกับจึงเชื่อมโยงกับแต่ละเส้นทางของไฟล์
‫ในรูปแบบของอาร์เรย์บูลีน
‫แล้วเราต้องทำยังไงถึงจะฝึก full model ได้บ้าง?
‫หากเรากลับมาที่ประเด็นสำคัญ เวิร์กโฟลว์ของเราจะเป็นอย่างไร
‫เตรียมข้อมูลให้พร้อม
‫เปลี่ยนเป็นกาล
‫เรามีฟังก์ชันสำหรับสิ่งนั้น
‫คุณจำได้ไหม?
‫สร้างชุดข้อมูล
‫ถ้าคุณทำไม่ได้ก็ไม่เป็นไร
‫เราได้สร้างฟังก์ชันสำหรับสิ่งนั้น และเราได้เลือกแบบจำลองที่เหมาะกับปัญหาของคุณ
‫ดังนั้นศูนย์กลางของ TensorFlow เราจึงสามารถใช้สร้างแบบจำลอง แล้วปรับแบบจำลองให้เข้ากับข้อมูลและทำการคาดคะเนได้
‫ให้มันแตก
‫ไปสร้างชุดข้อมูลกันเถอะ
‫พร้อมข้อมูลชุดเต็ม
‫ดังนั้นนี่คือที่ที่ฟังก์ชันต่างๆ จะช่วยได้จริงๆ ในภายหลังในโน้ตบุ๊กของคุณ
‫ฉันบอกคุณว่ามันคุ้มค่าสำหรับข้อมูลเท่ากับ
‫สร้างชุดข้อมูล
‫ดูนี่สิ.
‫นี่คือหน้าที่ของเราที่เราได้เขียนไว้ข้างต้น
‫สร้างข้อมูล แบทช์ข้อมูลของรูปภาพ x และป้ายกำกับ y คู่
‫สับเปลี่ยนข้อมูลที่สวยงาม
‫หากเป็นการฝึกแต่ไม่เป็นเช่นนั้นก็เป็นอุปสรรคเล็กน้อย
‫เราไม่สามารถเห็นได้ว่ายอมรับข้อมูลทดสอบเป็นอินพุตด้วย
‫ไม่มีฉลาก
‫ไม่เป็นไร
‫นี่ไม่ใช่ข้อมูลการฝึกอบรม
‫มาสร้างชุดข้อมูลแบบเต็มกัน
‫ตอนนี้เราได้ดูข้อมูลทั้งหมดแล้ว
‫เป็นชุดข้อมูลแบทช์
‫สวยงาม.
‫พร้อมรูปภาพและป้าย
‫มหัศจรรย์.
‫และหากคุณสงสัยว่าสิ่งที่สร้างชุดข้อมูลจริง ๆ นั้นใช้ทำอะไร ให้ย้อนกลับไปเมื่อเราดูที่ดัชนีของเราที่นี่
‫เรากำลังทำอะไรอยู่
‫การแสดงภาพแบตช์ข้อมูลเปลี่ยนข้อมูลของเราให้เป็นแบตช์
‫นี่คือฟังก์ชันสำคัญของเราในการสร้างชุดข้อมูล
‫ต้องใช้ X และ Y
‫และนี่คือสิ่งที่เกิดขึ้น
‫เนื่องจากเป็นชุดข้อมูลการฝึก
‫การสร้างชุดข้อมูลการฝึกจะเปลี่ยน X และ Y เป็นกาล
‫มันสับเปลี่ยนแล้วแมปฟังก์ชันการประมวลผลภาพของเรารวมทั้งรับฟังก์ชันป้ายกำกับกับข้อมูล
‫จากนั้นจะเปลี่ยนข้อมูลเป็นขนาดแบทช์ 32
‫แต่เราเคยเห็นวิดีโอเกี่ยวกับเรื่องนี้แล้ว
‫ดังนั้นหากคุณต้องการทบทวน ให้กลับไปดูวิดีโอที่เราสร้างฟังก์ชันนี้
‫เลยกลับมาที่ที่เราเคยอยู่
‫ตอนนี้เราได้ข้อมูลของเราคืนแล้ว
‫ขั้นตอนต่อไปคืออะไร?
‫เราต้องการโมเดล
‫มาสร้างแบบจำลองสำหรับแบบจำลองเต็มสำหรับแบบจำลองเท่ากับสร้างแบบจำลองกัน
‫จำสิ่งที่ฉันสร้าง
‫ฟังก์ชันโมเดลทำได้
‫โอ้ไม่มีเอกสาร
‫อืม.
‫เอาล่ะ ลุยกันเลยดีกว่า
‫เราสามารถไปตรวจสอบได้
‫ดังนั้นการสร้างแบบจำลองด้วย TF Dev image net mobile nat v2.0
‫ดังนั้นเราจึงมีโมเดล
‫ตกลง.
‫เรามีชุดข้อมูลแบทช์และเรามีโมเดล
‫ทีนี้ ถ้าเราต้องการตรวจสอบว่า create model ทำหน้าที่อะไร แล้วสร้าง model ที่ไหน?
‫ถ้าเราลงมาตรงนี้ นี่คือฟังก์ชันสร้างแบบจำลองของเรา
‫อ่า มันไม่มี docstring
‫บางทีนั่นอาจเป็นสิ่งที่คุณสามารถเพิ่มได้
‫ดังนั้น คุณจึงสร้างฟังก์ชันที่สร้างแบบจำลองผู้ดูแล
‫สิ่งที่จะต้องผ่านคือทำตามขั้นตอนต่างๆ ที่เคยทำมาก่อนเพื่อสร้างโมเดลตามลำดับของผู้ดูแลโดยใช้โมเดลที่เราดาวน์โหลดจากฮับ
‫TensorFlow และเลเยอร์ที่หนาแน่นด้านบนเพื่อให้แน่ใจว่าเอาต์พุตของเรามีขนาดเท่ากับป้ายกำกับที่ เรามี.
‫จะเป็นการรวบรวมแบบจำลองที่มีฟังก์ชั่นการสูญเสียและออปติไมเซอร์ ซึ่งเพื่อนของเรา Adam
‫ผู้ซึ่งอยู่ด้านล่างของเนินเขาบอกเราถึงวิธีการลงเขาที่ International Hill Descent
‫Championships และตัวชี้วัดคือความแม่นยำคือสิ่งที่เราเป็น เรากำลังวัด
‫จากนั้นเรากำลังสร้างแบบจำลองการป้อนที่รูปร่างอินพุต ซึ่งก็คือขนาดของภาพของเรา
‫มหัศจรรย์.
‫กลับมา.
‫แล้วเราจะฝึกเรื่องนี้ได้อย่างไร?
‫อะไรต่อไป?
‫เราจะทำอย่างไรต่อไป?
‫เราได้สร้างการเรียกกลับบางส่วน ดังนั้นเราอาจต้องทำการโทรกลับเฉพาะเจาะจงสำหรับแบบจำลองของเรา
‫มาทำกัน
‫มาสร้างคอลแบ็กโมเดลแบบเต็มกัน
‫เต็มกิริยากาลบนเรือเท่ากับ
‫สร้างเต็นท์บนเรือ
‫ย้อนกลับ.
‫เราจะไปที่นั่น.
‫ก่อนหน้านี้มีฟังก์ชันของเราในการสร้างการเรียกกลับของบอร์ดเทนเซอร์
‫โปรดจำไว้ว่า การเรียกกลับของบอร์ดเทนเซอร์ช่วยให้เราติดตามประสิทธิภาพของแบบจำลองของเราและเปรียบเทียบกับรุ่นอื่นๆ
‫ดังนั้นจึงไม่มีการตั้งค่าการตรวจสอบเมื่อฝึกข้อมูลทั้งหมด
‫ดังนั้นด้วยการหยุดก่อนเวลาและโทรกลับ เราจึงไม่สามารถตรวจสอบความถูกต้องของการตรวจสอบความถูกต้องได้
‫ดังนั้นสำหรับการหยุดเรียกกลับก่อนกำหนด เราจำเป็นต้องให้โมเดลหยุดทำงานก่อนกำหนด
‫เท่ากับผู้ดูแล tfw จุดโทรกลับจุดหยุดก่อน
‫เราจะไปที่นั่น.
‫และเราจะให้มันตรวจสอบความถูกต้องเมื่อแบบจำลองของเราแสดงข้อมูลทั้งหมด
‫เมื่อความแม่นยำหยุดเพิ่มขึ้นเป็นเวลาสามยุค
‫เราจะให้มันหยุดการฝึกเพื่อไม่ให้ปลามากเกินไปหรือเราจะพยายามป้องกันไม่ให้มันมากเกินไป
‫เลยเลื่อนเข้า
‫มหัศจรรย์.
‫ดูเหมือนว่าเราอาจมีสูตรในการเริ่มฝึกโมเดลของเรา เพื่อให้พอดีกับข้อมูลทั้งหมด
‫นี่คือที่ที่เราสามารถไป
‫ลุยเต็มโมเดล dot fit ได้
‫ดังนั้นเราจึงเรียกแบบจำลองที่เราสร้างขึ้น
‫Dot fit x เท่ากับข้อมูลทั้งหมด
‫ตอนนี้ไม่มีชุดการตรวจสอบ จำไว้ว่าเพราะเรากำลังฝึกอบรมเกี่ยวกับข้อมูลทั้งหมด
‫ยุคกำลังจะถึง 100
‫หรืออาจเป็นแค่ num epochs เพราะเราเคยตั้งค่า num epoch มาก่อน และเราจะมีการเรียกกลับ ซึ่งเป็นการเรียกกลับสองครั้งที่เราเพิ่งสร้างขึ้น
‫ตอนนี้มันก็แค่ทำตามขั้นตอนเดียวกับที่เราเคยทำ ฝึกโมเดลที่เล็กกว่า แต่คราวนี้มีข้อมูลมากขึ้น
‫มหัศจรรย์.
‫และตอนนี้ฉันจะเขียนบันทึกย่อที่นี่เพื่อให้คุณทราบล่วงหน้า และฉันจะพูดมันออกไป
‫ดังนั้นคุณก็รู้เช่นกัน
‫การเรียกใช้เซลล์ด้านล่างจะใช้เวลาสักครู่ อาจนานถึง 30 นาทีหรืออาจนานกว่านั้นเล็กน้อย
‫30 นาทีสำหรับยุคแรก เนื่องจาก GPU ที่เรากำลังใช้ในรันไทม์ต้องโหลดภาพทั้งหมดลงในหน่วยความจำ
‫ดังนั้นในยุคแรก จำไว้ว่า ด้วยโมเดลที่เล็กกว่าของเราใน 1,000 ภาพ ยุคแรกใช้เวลาสองสามนาที
‫อาจจะสามหรือ 4 นาที อย่างที่คุณจินตนาการได้ เพราะอันนี้อยู่ในชุดข้อมูลทั้งหมด
‫มันคือการฝึกด้วย 10,000 ภาพ
‫ดังนั้นจะใช้เวลานานขึ้นเล็กน้อยในการโหลดข้อมูลทั้งหมดสำหรับยุคแรก
‫ดังนั้นก่อนที่เราจะรันสิ่งนี้ ตราบใดที่โค้ดทั้งหมดถูกต้อง จริงๆ แล้ว มันอาจเกิดข้อผิดพลาดได้
‫นั่นเป็นเหตุผลที่แทนที่จะลองใช้ข้อมูลทั้งหมดตั้งแต่ต้น เราได้ทำให้แน่ใจว่าทุกอย่างใช้งานได้
‫เพราะเมื่อฝึกโมเดลแมชชีนเลิร์นนิ่งเต็มรูปแบบ โมเดลการเรียนรู้เชิงลึกเต็มรูปแบบ
‫อาจใช้เวลานานและหลายชั่วโมงพอสมควร
‫เราค่อนข้างโชคดีที่นี่
‫การดำเนินการนี้จะฝึกอบรมภายในหนึ่งชั่วโมงเพราะเราใช้ GPU
‫แต่คุณสามารถจินตนาการได้ว่าถ้าคุณทำงานในบริษัทที่ใหญ่กว่า คุณอาจออกจากการฝึกอบรมบางอย่างเป็นเวลาหนึ่งสัปดาห์
‫นั่นคือเหตุผลที่คุณต้องการให้แน่ใจว่าเมื่อคุณตั้งค่าการทดลอง ลองนึกภาพการฝึกโมเดลการเรียนรู้เชิงลึกตลอดทั้งสัปดาห์
‫แล้วปรากฎว่ามันไม่ได้ผล
‫เราจึงทำตามขั้นตอนทั้งหมดข้างต้นเพื่อให้แน่ใจว่าทุกอย่างทำงานเป็นปกติ
‫ดังนั้นก่อนที่เราจะฝึกโมเดลขนาดใหญ่ เราสามารถมั่นใจได้ว่า โอเค สิ่งต่างๆ เข้าที่แล้ว
‫มาเริ่มต้นรอบการฝึกเต็มรูปแบบกันเถอะ
‫คุณพร้อมหรือยัง?
‫เรากำลังจะฝึกโมเดลการเรียนรู้เชิงลึกเต็มรูปแบบตัวแรกของเราบนรูปภาพมากกว่า 10,000 ภาพ
‫การมองเห็นของสุนัขกำลังกลายเป็นความจริงอย่างแท้จริง
‫เกลียดมันกับฉัน
‫สาม สอง หนึ่ง.
‫เปลี่ยนแล้วเข้า
‫ไขว้นิ้วเอาไว้.
‫หวังว่านี่จะได้ผล
‫เราควรจะเห็นแถบการโหลดขึ้นมาเล็กน้อย และเนื่องจากเราได้กำหนดจำนวนยุคไว้ที่ 100
‫จึงมีการฝึกต่อเนื่องถึง 100 ยุค
‫แต่ถ้ามันหยุดปรับปรุง เราก็มีตัวเต็มของเราที่หยุดการโทรกลับก่อนกำหนด
‫นั่นจะหยุดที่การฝึกแต่เนิ่นๆ จากนั้นเราสามารถตรวจสอบผลลัพธ์โดยใช้ลำดับที่สิบหลังจากเสร็จสิ้น
‫ดังนั้นเราจะรอจนกว่าสิ่งนี้จะเริ่มต้น
‫แล้วที่ฉันน่าจะทำคือหยุดวิดีโอนี้ชั่วคราว เพราะจะใช้เวลาประมาณครึ่งชั่วโมง
‫ฉันจะไปพักสักหน่อย บางทีคุณอาจจะได้เดินเล่นรอบๆ บ้าง ทำใจให้สบาย
‫โอ้.
‫อาจจะใช้เวลานานกว่าครึ่งชั่วโมงนิดหน่อย
‫คราวนี้ฉันควรจะลงไปเว้นแต่การทดสอบของฉันจะไม่ถูกต้อง
‫แต่เราจะรอสักครู่ แล้วจะกลับมาที่วิดีโอนี้เมื่อตัวแบบหยุดทำงาน
‫ดังนั้นเมื่อโมเดลหยุดการทำงานแต่เนิ่นๆ การโทรกลับที่หยุดก่อนเวลาของโมเดลเต็มรูปแบบก็เริ่มทำงาน
‫ตกลง.
‫ดังนั้นฉันจะปล่อยให้มันทำงานตราบเท่าที่มันจำเป็นต้องทำงาน
‫ฉันจะกลับมาอีกครั้งเมื่อแบบจำลองของฉันหยุดทำงาน ต้องขอบคุณการหยุดก่อนเวลาและโทรกลับ
‫อีกไม่กี่วินาทีฉันจะได้เจอคุณ แต่สำหรับฉัน อีกสองสามชั่วโมงข้างหน้า
‫บางทีอาจเป็นสองสามชั่วโมงในอนาคตของคุณเช่นกัน
‫และเรากลับมา
‫เอาล่ะ
‫มาดูโมเดลที่ได้รับการฝึกฝนอย่างเต็มที่ของเรากัน
‫อย่างที่คุณเห็น ยุคแรกของฉันใช้เวลานานพอสมควร และจริงๆ แล้วจะใช้เวลาสักครู่ถ้าคุณทำสิ่งนี้เสร็จ
‫หากคุณผ่านมันไปได้
‫คุณต้องตบหลังตัวเองเพราะสิ่งนี้เป็นเหมือนพิธีฝึกผ่านโครงข่ายประสาทเทียมแบบแรกและการเรียนรู้เชิงลึกของคุณ
‫และใช้เวลานาน
‫สิ่งหนึ่งที่คุณจะต้องคิดออกเมื่อคุณเป็นนักวิทยาศาสตร์ข้อมูลหรือวิศวกรด้านการเรียนรู้ของเครื่องคือวิธีที่จะสละเวลาในขณะที่โมเดลของคุณฝึก
‫ดังนั้นฉันจึงไปเดินเล่นกับสุนัขของฉันเพราะสิ่งนี้เกิดขึ้น
‫นั่นคือกี่วินาที?
‫ดังนั้น 4730 หารด้วย 60.
‫78 นาที
‫ดังนั้นเพียงหนึ่งชั่วโมงกว่าจะทำยุคแรก
‫แต่อย่างที่ฉันบอกไป หลังจากที่รูปภาพถูกโหลดเข้าไปในหน่วยความจำของ GPU แล้ว ให้ลองดูว่ามันเร็วแค่ไหนหลังจากนั้น
‫และสิ่งที่คุณน่าจะอยากทำก็คือ ขณะที่เซลล์นี้ทำงานอยู่ ฉันน่าจะบอกคุณก่อนหน้านี้แล้ว
‫แต่คุณสามารถสังเกตได้สำหรับอนาคต
‫ขณะที่เซลล์นี้ทำงานอยู่ คุณต้องการให้โมเดลบันทึกทำงานหลังจากนั้น
‫ด้วยวิธีนี้ เมื่อแบบจำลองของคุณหยุดการฝึก
‫ขอขอบคุณที่หยุดการโทรกลับก่อนกำหนดของเราที่นี่
‫มันจะเรียกใช้ฟังก์ชันบันทึกโมเดลของเราโดยอัตโนมัติ และบันทึกโมเดลทั้งหมดของเราลงในไดเร็กทอรีโมเดลของเรา
‫คราวนี้มาดูโมเดลกันบ้าง
‫โอ้ ฉันมีไม่กี่ที่นั่น
‫สมมุติว่ามันจะเป็นอันเดียวกับที่เราไป full image set mobile net 2nd ของกุมภาพันธ์ และฉันเริ่มตอนประมาณ
‫5 โมงเย็น ม..
‫ดังนั้นครั้งนี้จึงผิดจริงสำหรับฉันเพราะฉันไม่แน่ใจ
‫บางทีวันที่เวลาอาจทำให้ฉันผิดเวลา
‫แต่เราไปที่นั่น
‫ที่บันทึกไว้ที่นี่
‫เรามีเส้นทางของเราแล้ว
‫ตอนนี้เรามาดูกันดีกว่าว่าสุดท้ายแล้วอะไรที่ทำออกมาได้ค่อนข้างดี
‫ดูนั่นสิ
‫นั่นคือความแม่นยำในการฝึก
‫แต่ฉันสงสัยเล็กน้อยที่นี่
‫คุณรู้ว่าทำไม?
‫เพราะเราไม่ได้ตรวจสอบสิ่งนี้
‫นี่เป็นเพียงการฝึกอบรมแบบจำลองเกี่ยวกับข้อมูลการฝึกทั้งหมด
‫เลยมาที่นี่กัน
‫เป็นการฝึกเกี่ยวกับรูปภาพทั้งหมดในไฟล์ที่ผ่านการฝึกอบรมนี้ a. เค ก. X และ Y
‫ดังนั้นเราจึงไม่สามารถทดสอบชุดตรวจสอบความถูกต้องได้ แต่สิ่งที่เราทำได้คือนำเข้าชุดข้อมูลทดสอบที่เราดาวน์โหลดมาจาก
‫Kaggle มาแต่แรก
‫เอาล่ะ ไฟล์ทดสอบ
‫และเราสามารถนำเข้าสิ่งเหล่านั้น เปลี่ยนเป็นกลุ่มข้อมูล จากนั้นใช้แบบจำลองของเราเพื่อคาดการณ์และส่งไปยัง
‫Kaggle
‫นี่มันมหากาพย์ขนาดไหน?
‫แบบจำลองของเราจะถูกบันทึกไว้
‫มาทดสอบฟังก์ชันโมเดลโหลดของเรากัน
‫โหลดมากสำหรับรุ่นเท่ากับรุ่นโหลด
‫เราจะคัดลอกเส้นทางนี้ที่นี่
‫ตกลง.
‫พวกเขากำลังโหลดตัวเต็ม
‫และถ้าเราคัดลอกบรรทัดนี้ที่นี่
‫ติ๊ก
‫โอ้ เราไม่ต้องการที่จะวางมันไว้ที่นั่น
‫เราต้องการใส่มันที่นี่เป็นสตริง
‫ลองตรวจสอบดู
‫มหัศจรรย์.
‫ที่กำลังจะผ่าน
‫นั่นคือสิ่งที่เรากำลังตามหา
‫อีกครั้ง เราได้รับคำเตือนว่าเอกสาร TensorFlow บอกว่าสามารถเพิกเฉยได้
‫ถูกต้องทั้งหมด
‫ตอนนี้จะเป็นอย่างไรต่อไป?
‫ฉันคิดว่าตอนนี้เรามีโมเดลที่ได้รับการฝึกฝนมาอย่างดีแล้วสำหรับรูปภาพทั้งหมด 10,000 รูป ฉันคิดว่าเราเห็นวิธีคาดการณ์บนชุดข้อมูลทดสอบแล้ว
‫ลองทำกันในวิดีโอหน้า