‫ยินดีต้อนรับกลับ.
‫ในวิดีโอที่แล้ว เราได้เห็นวิธีการแปลงข้อมูลที่ไม่ใช่ตัวเลขให้เป็นข้อมูลตัวเลข
‫ด้วยวิธีนี้ เราจะสามารถใส่โมเดลการเรียนรู้ของเครื่องหรืออย่างน้อยก็ลองหารูปแบบบางอย่างในข้อมูลของเรา
‫ในอันนี้ เราจะหาว่าเราทำอะไรได้บ้างเมื่อเรามีค่าที่หายไป
‫เราจะสร้างหัวเรื่องเล็ก ๆ อีกอันที่นี่
‫เกิดอะไรขึ้นถ้ามีค่าหายไป?
‫มีสองวิธีหลักในการจัดการกับข้อมูลที่ขาดหายไป
‫ลองใส่ที่นี่จริงๆ
‫งั้นเราไปกันเลย
‫เติมด้วยค่าบางอย่างหรือที่เรียกว่าการใส่ร้ายป้ายสี
‫ดังนั้นนี่คือเมื่อคุณมี ตัวอย่างบางส่วน และไม่มีข้อมูล คุณสามารถเติมมันด้วยค่าบางอย่างได้
‫เรียกว่าใส่ข้อมูล
‫อีกวิธีหนึ่งคือการลบตัวอย่างที่มีข้อมูลที่ขาดหายไปทั้งหมด
‫ตอนนี้ เป็นที่ทราบกันดีอยู่แล้วว่าไม่มีวิธีที่ดีจริง ๆ ในการจัดการกับข้อมูลที่ขาดหายไปอย่างเต็มที่
‫เช่น ถ้าคุณเติมข้อมูลที่ขาดหายไปด้วยค่าบางอย่าง คุณจะแนะนำข้อมูลที่ไม่ใช่ข้อมูลจริงให้กับชุดข้อมูลของคุณ
‫และถ้าคุณลบตัวอย่างที่มีค่าที่หายไป คุณจะไม่สามารถทำงานกับตัวอย่างน้อยลงได้
‫ดังนั้นในโลกแห่งความเป็นจริง คุณไม่จำเป็นต้องมีชุดข้อมูลที่สมบูรณ์เสมอไป
‫แต่เมื่อคุณจัดการกับข้อมูลที่ขาดหายไป มันก็ยังคงเป็นงานวิจัยขนาดใหญ่เกี่ยวกับวิธีการทำ
‫แต่เราจะผ่านสองวิธีนี้โดยพื้นฐานในการหามัน อย่างน้อยเราจะได้โมเดลการเรียนรู้ของเครื่องที่ทำงานกับข้อมูลที่ครั้งหนึ่งเคยมีค่าที่หายไป
‫ในการพูดนั้น เราต้องการชุดข้อมูลที่มีค่าที่ขาดหายไป
‫โชคดีที่นี่คือสิ่งที่ฉันได้จัดเตรียมไว้ก่อนหน้านี้ Google ชีตที่สวยงาม ซึ่งเป็นชุดข้อมูลการขายรถยนต์ที่ซื่อสัตย์ของเรา
‫มันขาดข้อมูลที่นี่
‫เราเดินทางต่อไปไกลออกไป
‫เราทำอะไรไปบ้าง?
‫มีคนที่เราล้มเหลวในการบันทึกด้วยชุดข้อมูลนี้
‫และนี่คือสิ่งที่คุณจะเห็นบ่อยครั้งในโลกแห่งความเป็นจริง เมื่อคุณกำลังทำงานในชุดข้อมูล
‫คุณจะมีตัวอย่างเหล่านี้
‫เหมือนแถว 101 ขาดสีรถแต่มีอย่างอื่นหมด
‫ก็ไม่เป็นไร
‫เรามาดูกันว่าเราจะใช้งานมันอย่างไร
‫สิ่งแรกที่เราทำคือ เราจะนำเข้ายอดขายรถยนต์ ข้อมูลขาดหายไป
‫ฉันมีผู้ชายคนหนึ่งชื่อโคลอน เป็นอะไรที่ง่ายและสะดวก
‫ยอดขายรถยนต์ที่ขาดหายไปเท่ากับอัตรา PD
‫นี่คือ V และจำทุกอย่างไว้ในโฟลเดอร์ข้อมูล
‫อาจไม่ได้อยู่บนเครื่องของคุณ แต่ในกรณีของฉันคือ
‫Carsales ขยายจิตใจที่เรียกว่าข้อมูลที่ขาดหายไป
‫ซีเอสวี
‫มหัศจรรย์.
‫ฉันจะไปขายรถหาย
‫เราจะดูที่หัวของมัน
‫สวยงาม.
‫ยอดเยี่ยม.
‫เลยเอามาลงที่นี่
‫ดูเหมือนว่าจะไม่มีข้อมูลใด ๆ หายไป แต่วิธีคำนวณที่รวดเร็วจริง ๆ เพื่อดูว่าเราขายรถหายหรือไม่
‫ความสะดวกในการมีมันในดาต้าเฟรมของแพนด้าคือ เราสามารถเรียกฟังก์ชันของแพนด้าว่า a
‫for is non หรือ คือน่าน ฉันคิดว่าในแพนด้าเรียกว่าน่าน
‫ถ้าเรานำเข้าก็จะเติมด้วยน่าน
‫ดังนั้นบางอย่างเช่นน่านและเว้นว่างไว้ที่นั่น
‫เราจะไปที่นี่ในผลรวมและนี่จะแสดงให้เราเห็นว่ามีค่าที่ขาดหายไปกี่ค่า
‫เลยย้ายเข้าไป
‫ดังนั้นในคอลัมน์ make มีค่าที่ขาดหายไป 49 ค่าในคอลัมน์สี
‫มี 50.
‫แล้วก็คอลัมน์อื่นๆ
‫ดังนั้นจึงมีค่าคี่ที่ขาดหายไปประมาณ 50 ค่าในแต่ละคอลัมน์
‫เอาล่ะ เรามาลองแปลงเป็นตัวเลขกัน
‫ลองแปลงของเรา
‫เช่นเดียวกับที่เราทำในข้อมูลวิดีโอก่อนหน้าเป็นตัวเลข
‫สิ่งที่เราอาจจะทำคือโกงนิดหน่อยครับ
‫เราจะเลื่อนขึ้น
‫เรามาขึ้นที่นี่เพื่อรหัสที่เรามีมาก่อน
‫เราจะคัดลอกสิ่งนี้
‫และนี่เป็นครั้งเดียวที่ฉันจะอนุญาตให้คุณคัดลอกโค้ดเพื่อประหยัดเวลาเล็กน้อยที่นี่
‫เราจะไปที่นี่
‫แต่ก่อนอื่น ฉันคิดว่าสิ่งที่เราต้องทำคือแปลงสิ่งนี้ ให้เป็น X และ Y
‫เพราะไม่อย่างนั้นเราจะใช้มันผิด X
‫มาทำกัน
‫เราต้องการ x และ y ใหม่
‫สร้าง X และ y
‫และเราต้องการ x เท่ากับยอดขายรถยนต์ที่ไม่มีราคาดอทดร็อป
‫เราจะทำแบบเดิมอีกครั้ง
‫เราจะใช้ตัวอย่างของการพยายามใช้สี่คอลัมน์นี้ในการทำนายคอลัมน์ราคา
‫ดังนั้นราคาและเราเข้าถึงได้เท่ากับหนึ่ง Y เท่ากับยอดขายรถยนต์ที่ขาดหายไป
‫และเราจะให้คอลัมน์ราคานี้
‫มหัศจรรย์.
‫ฉันจะลองทำสิ่งนี้และดูว่าเกิดอะไรขึ้น
‫ค่าผิดพลาด
‫อืม.
‫ทำไมถึงเป็นเช่นนี้?
‫ดังนั้นเราจึงพยายามทำโค้ดเดียวกันกับที่คุณเห็นฉันก่อน
‫คัดลอกและวางสิ่งนั้น
‫เราได้ x
‫ทำไมเราคิดว่ามันไม่ได้ผล?
‫อินพุทมีน่าน
‫อืม.
‫แน่นอน.
‫นั่นเป็นเหตุผลที่ฉันจะไป Carsales หายไป
‫ลองตรวจสอบดู
‫นี่จะแสดงให้เราเห็นน่าน?
‫ใช่! ฉันจะ.
‫เรามีอย่างน้อยหนึ่งน่านที่เราเห็นที่นี่
‫ดังนั้นในคอลัมน์คู่ มีประมาณ 49 นาโนเมตร และคอลัมน์สี ประตูวัดระยะทาง
‫และราคา มี 50 ตัว
‫สิ่งที่เราต้องทำคือก่อนที่เราจะแปลงข้อมูลเป็นตัวเลขได้ เราต้องทำอะไรบางอย่างกับค่าที่หายไปเหล่านี้
‫มาดูกันว่าเราจะทำได้อย่างไร
‫มีอยู่สองสามวิธี
‫อย่างแรกคือเราสามารถกรอกข้อมูลที่ขาดหายไปกับแพนด้าได้
‫ลองตรวจสอบดู
‫เราจะทำอีกหัวข้อหนึ่ง
‫ฟิลหายไป
‫เราอาจใส่ตัวเลือกนี้ลงไป เติมข้อมูลที่ขาดหายไปด้วยแพนด้า
‫มาดูกันว่าเราจะทำอะไรได้บ้าง
‫ดังนั้นเราอาจไปกรอกคอลัมน์จดหมาย
‫เราจะทำสิ่งนี้สำหรับแต่ละคอลัมน์ เติมคอลัมน์หลักจริงๆ แล้วเราจะหายไปจาก Carsales
‫สิ่งที่เราอาจทำคือคอลัมน์หมวดหมู่ใด ๆ ที่เราจะเติมลงในนั้น
‫อืม.
‫สตริงที่ขาดหายไป
‫อื่นๆ เช่น Numerical?
‫เราอาจเติมด้วยค่าเฉลี่ยของคอลัมน์ก็ได้
‫และจำไว้ว่าฉันพูดว่าการกรอกข้อมูลไม่เคยเป็นวิธีปฏิบัติที่สมบูรณ์แบบ
‫ดังนั้นถ้าค่าที่หายไปและคุณเติมมันเข้าไป มันจะไม่มีวันสมบูรณ์แบบ
‫เหมือนกับว่าคุณมีค่าจริงที่นั่น
‫แต่มีบางอย่างที่เหมือนกับความรู้สึกข้อมูลระดับหนึ่ง เช่น หมวดหมู่ คุณอาจเติมคอลัมน์ตัวเลขที่ขาดหายไป
‫คุณอาจเติมค่าเฉลี่ย เช่น ค่าเฉลี่ยของคอลัมน์นั้น เช่น ค่าที่หายไป จะมีค่าเฉลี่ยของคอลัมน์นั้น
‫ดังนั้นมันจึงอยู่ไม่ไกลจากค่าที่เหลือในนั้นมากเกินไป
‫คุณไม่ได้รู้สึกว่ามันมีค่าผิดปกติอย่างมหาศาล
‫มาดูกันว่าจะเป็นอย่างไร
‫ทำให้ฟิลกับฉันไม่พลาดแล้วเราจะเข้าไปที่เท่ากับจริงเพราะเราต้องการให้มันเกิดขึ้นทันทีและเราไปเติมคอลัมน์สี
‫เรากำลังจะทำสิ่งเดียวกัน
‫รถขายขาด.
‫ผมจะได้คอลัมน์สีและส่วนเติม และผมสามารถทำแบบเดียวกับที่เราทำด้านบนได้
‫เพราะพวกมันจัดหมวดหมู่ตามจริง วิเศษมาก
‫แล้วเราจะเติมคอลัมน์มาตรระยะทาง
‫จำไว้นะ อันนี้คือเราเรียงตามลำดับตรงนี้
‫เรามาทำเครื่องวัดระยะทางสี เติมคอลัมน์วัดระยะทางกัน
‫เราอาจจะทำหลักที่นี่
‫เลยขายรถ.
‫หายไป.
‫เราจะทำสิ่งนี้ได้อย่างไร?
‫เราต้องการเติมเต็ม
‫เครื่องวัดระยะทาง
‫เป็น.
‫ฉันต้องใส่เครื่องเทศเล็กน้อยที่นั่น
‫เช่นเดียวกับฟิลและฉัน
‫แต่คราวนี้เราต้องการค่าเฉลี่ยที่หัวรถของเขาขายขาดวัดระยะทาง
‫และนี่อาจกลายเป็นเรื่องยาวพอสมควร
‫โอ้ ง่ายจริงๆ นะ Dot
‫หลักคิดมากเกินไปมันคลาสสิกในสถานที่เท่ากับจริง
‫ไม่เป็นไร.
‫และสุดท้าย เราต้องการเติมคอลัมน์เครื่องมือ
‫ตอนนี้บนประตูก็แตกต่างออกไปเช่นกันเพราะเราพูดก่อนหน้านี้ว่ามันอาจเป็นหมวดหมู่
‫แต่สิ่งที่เราควรทำคือเพราะประตูส่วนใหญ่ชอบบอกว่าถ้าเราไปที่นี่เราจะลองดู
‫ยอดขายรถ คุณคิดว่ารถเฉลี่ยมีกี่ประตู?
‫เช่น ถ้าต้องเดาว่า มีกี่ประตู สุ่มรถ มีกี่ประตู?
‫ฉันจะบอกว่าสี่
‫และประเภทข้อมูลเห็นด้วยกับฉันที่นั่น
‫ดังนั้นเราจะเติมรถที่หายไปทั้งหมด ค่าประตูที่หายไปใน dataframe ของเราด้วยสี่
‫ดังนั้นการเติมเต็มและการล้มที่เรียบง่ายและสวยงามจึงเท่ากับจริง
‫มหัศจรรย์.
‫ตอนนี้.
‫ลองตรวจสอบอีกครั้ง
‫ตรวจสอบ DataFrame อีกครั้ง
‫ดังนั้นเราจึงต้องการ Carsales
‫มันมีลักษณะอย่างไร?
‫ยอดขายรถยนต์ที่ขาดหายไปอยู่ในดอทซัม
‫ตอนนี้เรามีค่าที่หายไปกี่ค่า?
‫มหัศจรรย์.
‫ดังนั้นคอลัมน์คุณลักษณะทั้งหมดจึงทำให้ประตูวัดระยะทางสีมีค่าทั้งหมดยกเว้นคอลัมน์ราคา
‫ทีนี้ เราตั้งใจทิ้งอันนี้ไว้เพราะว่าราคานั้นพิเศษ เพราะเป็นราคาที่เรากำลังพยายามคาดการณ์
‫สิ่งที่เราอาจทำได้คือเพียงแค่ลบแถวออกจาก dataframe ของเราซึ่งมีค่าราคาที่หายไป
‫ดังนั้นเราจะสูญเสียข้อมูลบางส่วน แต่เป็นการยากที่จะคาดเดาบางสิ่งบางอย่างเมื่อไม่มีป้ายกำกับ
‫มาทำกัน
‫ลบ.
‫เพิ่มขึ้นด้วยมูลค่าราคาที่ขาดหายไปเพื่อให้เราสามารถทำยอดขายรถยนต์คันนี้ลดลงและแทนที่เท่ากับจริงและควรลบราคาที่เพิ่มขึ้นหรือค่าในกรอบข้อมูลกุหลาบและกรอบข้อมูลที่ไม่มีมูลค่า
‫.
‫เอาล่ะ มาเช็คกันอีกครั้งหนึ่ง
‫รถขายขาดจุดและจุดที่สวยงาม
‫ดังนั้นเราจึงไม่มีค่าที่ขาดหายไปใน dataframe ของเราอีกต่อไป
‫นี่หมายความว่าเราแพ้แล้ว
‫เรามี 1,000 แถวในตอนเริ่มต้น
‫ตอนนี้มี 950.
‫เราได้สูญเสียตัวอย่างไป 50 ตัวอย่างโดยเสียสละในการกรอกข้อมูลทั้งหมดและนำตัวอย่างที่ไม่มีฉลาก
‫ก ออก เค คอลัมน์ราคา
‫ทีนี้ลองนำโค้ดของเรากลับมาจากอันที่ออกอากาศก่อน
‫เรามีข้อผิดพลาดที่น่าขยะแขยง
‫เลยเอามาลงที่นี่
‫เราจะเติมเต็มสิ่งนี้
‫ที่จริงแล้ว เราต้องแยกข้อมูลออกเป็น x กับ y
‫ดังนั้น X เท่ากับยอดขายรถยนต์ที่ขาดหายไปของราคาดอทดร็อป
‫แกนเท่ากับหนึ่ง
‫นี่เป็นวิธีปฏิบัติที่ดีจริงๆ ใช่ไหม
‫ดูเหมือนว่าเรากำลังพิมพ์รหัสเดิมซ้ำหลายครั้ง
‫และเรามักจะเป็นสิ่งที่คุณต้องการหลีกเลี่ยงสิ่งนี้ แต่เราเห็นว่ามันเป็นอย่างไรเพียงแค่กรอกข้อมูลหรือนวดข้อมูลอย่างต่อเนื่องในแบบที่เราต้องการ
‫ดังนั้น การปฏิบัติอย่างต่อเนื่อง คุณจะต้องแยกข้อมูลออกเป็น X และ Y หรือ data และ label
‫และสิ่งที่พูดที่นี่?
‫เอาล่ะ กำหนดเป้าหมายไปที่ปัญหาเชิงหมวดหมู่ ปัญหาการจัดหมวดหมู่ที่เราเคยทำมาก่อน
‫ทีนี้ลองคัดลอกและวางรหัสนี้จากก่อนหน้านี้
‫เราควรกรอกค่าทั้งหมดแล้ว ดังนั้นการข้ามขั้นตอนนี้ควรทำงานเหมือนกับที่เคยทำมาก่อน
‫มหัศจรรย์.
‫ทีนี้ สิ่งที่ทำคือให้ผลลัพธ์นี้ แทนที่จะแสดงตัวเลข
‫สิ่งที่เราทำได้คือเราไม่ต้องการ X อยู่ในนั้นจริงๆ
‫เราไปขายรถได้
‫เราจะไปที่นั่น.
‫ดังนั้นเราจะเห็นว่าตอนนี้เราได้แปลงข้อมูลที่ขาดหายไปของ Carsales เป็นตัวเลขอีกครั้งแล้วจึงเติมข้อมูลลงไป
‫นั่นเป็นเพียงทางเลือกเดียว
‫คุณอาจจะคิดว่าเราอยู่ในเงินกู้กายสิทธิ์
‫ทำไมเราถึงใช้แพนด้า?
‫PANDAS ใช้งานได้หลากหลายและสนุกมาก
‫ฉันชอบใช้แพนด้ามาก แต่เราสามารถทำสิ่งที่เราเพิ่งทำลงไปได้
‫เติมค่าเหล่านี้ที่นี่
‫ดี เราสามารถทำซ้ำสิ่งที่เราได้ทำกับหมีแพนด้าด้วยเงินกู้กายสิทธิ์บริสุทธิ์
‫แล้วทำไมเราไม่ดูมันล่ะ?
‫แต่สิ่งที่เราจะทำคือเราจะรอวิดีโอหน้าสำหรับเรื่องนั้น
‫ดังนั้นเราจะตั้งค่านี้
‫ดังนั้นตัวเลือกที่สอง
‫เติมค่าที่หายไปด้วยพลังจิต
‫ไม่เป็นไร.
‫ดังนั้นฉันจึงทบทวนสิ่งที่เราได้ทำไปที่นั่นเล็กน้อย
‫กลับไปดูว่าเราทำอะไรลงไป
‫คุณอาจต้องการลองเล่นกับกรอบข้อมูลที่ขาดหายไปของ Carsales
‫ดูว่าคุณสามารถเติมค่าที่หายไป ลองใช้ฟังก์ชันเหล่านี้ที่นี่กับแพนด้า แล้วดูว่าคุณสามารถแปลงเป็นตัวเลขได้หรือไม่
‫แต่ถ้าไม่อย่างนั้น เจอกันใหม่ในวิดีโอหน้าครับ
‫เราจะเรียนรู้วิธีเติมค่าที่ขาดหายไปในชุดข้อมูลด้วยการเรียนรู้พลังจิตล้วนๆ