‫ยินดีต้อนรับกลับ.
‫แล้วข้อมูลคืออะไร?
‫ฉันหมายถึง เราได้พูดถึงมันแล้ว และเราควรมีความคิดว่าข้อมูลคืออะไร
‫และเราก็รู้ด้วยว่าทำไมธุรกิจถึงสนใจเรื่องข้อมูล ใช่ไหม?
‫เราอาศัยอยู่ในโลกที่ข้อมูลมีค่าและบริษัทที่มีค่าที่สุดบางแห่งก็มีค่าเพราะพวกเขารวบรวมข้อมูล
‫บริษัทอย่าง Facebook และ Google ขายข้อมูลเพื่อสร้างรายได้
‫พวกเขาจัดหาผลิตภัณฑ์ให้กับลูกค้าโดยใช้ข้อมูลเพื่อปรับปรุงผลิตภัณฑ์ของตน
‫ข้อมูลเป็นทองคำใหม่
‫ธุรกิจจึงสนใจ เพราะการทำความเข้าใจข้อมูลอาจเป็นส่วนหนึ่งของผลิตภัณฑ์ เช่น การสร้างเครื่องมือแนะนำของ
‫YouTube
‫เราสามารถถามว่า บริษัท ดำเนินการตรวจสอบสถิติการขายของบริษัทได้หรือไม่ และคุณยังสามารถใช้ข้อมูลเพื่อปรับปรุงบริษัท
‫และถามว่า เราสามารถทำได้ดีกว่านี้หรือไม่
‫เราสามารถปรับปรุงอะไรได้บ้าง?
‫เราจะทำให้แอปของเราเร็วขึ้นได้อย่างไร
‫ดังนั้น ธุรกิจต่างๆ จึงให้ความสำคัญกับข้อมูลเป็นอย่างมาก แต่ฉันต้องการใช้เวลาสักครู่เพื่อทำความเข้าใจจริงๆ
‫ว่าวิศวกรข้อมูลทำอะไรโดยการจัดการหรือรวบรวมข้อมูลนี้
‫เรามาพูดถึงข้อมูลสี่ประเภทกัน
‫เราได้เรียนรู้ว่ามีสิ่งที่เรียกว่าข้อมูลที่มีโครงสร้าง
‫ข้อมูลนี้เป็นข้อมูลที่จัดระเบียบอย่างดีเพื่อให้เราเข้าใจและอ่านได้จริง เนื่องจากข้อมูลถูกเก็บรวบรวมด้วยวิธีต่างๆ
‫จากแหล่งต่างๆ
‫ใช่ไหม
‫แต่เมื่อใช้คอมพิวเตอร์ จะมีวิธีมาตรฐานในตารางหรือที่เราเรียกว่าเมทริกซ์ ซึ่งเป็นตารางที่ทำให้อ่านง่าย
‫แอตทริบิวต์มักจะเป็นคอลัมน์และแถวมักจะเป็นอินสแตนซ์ และบางครั้งเรามีผลลัพธ์ในคอลัมน์ขวาสุด
‫เช่นเดียวกับที่เราเห็นในการเรียนรู้ของเครื่องที่เราคาดการณ์ผลลัพธ์ตามอินพุตและโครงสร้าง
‫ข้อมูลมักจะมาจากสิ่งต่างๆ เช่น ฐานข้อมูลเชิงสัมพันธ์ เช่น กราฟโพสต์ MySQL และฐานข้อมูลเชิงสัมพันธ์อื่นๆ
‫ที่ช่วยให้เราทำบางสิ่งที่เรียกว่าการสืบค้น SQL
‫นั่นคือการดำเนินการกับข้อมูลโครงสร้างเพื่อรวบรวมข้อมูล
‫แล้วมีข้อมูลกึ่งโครงสร้าง
‫ยังมีข้อมูลที่มีโครงสร้างอยู่ แต่บ่อยครั้งในรูปแบบ XML CSV ที่เราเคยเห็นหรือรูปแบบ JSON
‫และนี่เป็นเพียงส่วนขยายที่แตกต่างกันและวิธีการจัดเก็บข้อมูลในไฟล์ต่างๆ
‫ตัวอย่างเช่น เว็บไซต์ยอดนิยมจริงๆ ในการดึงข้อมูลที่เปิดออนไลน์อย่างอิสระและค้นหาชุดข้อมูล อาจทำการแข่งขัน หรือดูสมุดบันทึกของผู้อื่นและพูดคุยเกี่ยวกับหัวข้อการเรียนรู้ของเครื่อง
‫Kaggle ช่วยให้เราดูชุดข้อมูลที่เราใช้งานและเล่นได้จริง
‫และในนี้ถ้าฉันพิมพ์บางอย่างเช่น XML
‫มันจะให้ข้อมูลทั้งหมดหรือข้อมูลทั้งหมดแก่ฉัน
‫มาทำให้มันใหญ่ขึ้นซึ่งอยู่ในรูปแบบ XML
‫ตัวอย่างเช่น ถ้าฉันคลิกที่ภาพเซลล์เม็ดเลือด
‫และฉัน.
‫ลองดูที่นี่
‫ฉันเห็นว่าแหล่งข้อมูลมีไฟล์ CSV บางไฟล์ แต่ก็มีไฟล์ XML บางไฟล์ด้วย
‫และถ้าเลื่อนลงไปก็จะมีภาพบางภาพด้วย
‫ข้อมูลรูปแบบต่างๆ ที่เราสามารถใช้ได้
‫อย่างไรก็ตาม หากคุณคลิกที่ตัวกรองที่นี่ คุณจะเห็นไฟล์บางประเภทที่มีข้อมูล
‫ตอนนี้เรารู้เรื่อง CSP แล้ว
‫นอกจากนี้ยังมี JSON ที่ JSON หากเราดูและไปที่เบียร์สไตล์นี้กัน
‫ถ้าเลื่อนลงมาจะเห็นว่าอยู่ในรูปแบบ JSON และรูปแบบ JSON
‫คุณจะเห็นว่ามีโครงสร้างเหมือนต้นไม้นี้ในการสำรวจข้อมูล
‫ต่างจาก CSV เล็กน้อย ซึ่งเป็นอีกวิธีหนึ่งในการจัดระเบียบข้อมูล
‫อย่างที่ฉันได้กล่าวถึง
‫ใน Kaggle คุณจะพบชุดข้อมูลทุกประเภทโดยใช้สิ่งต่างๆ ที่แตกต่างกัน
‫ตัวอย่างเช่น SQL Light เป็นฐานข้อมูลประเภทหนึ่งและใช้ SQL ดังนั้นข้อมูลที่มีโครงสร้าง
‫ดังนั้นถ้าฉันทำ SQL Lite ตรงนี้และค้นหาบางอย่างโดยใช้ฐานข้อมูลเชิงสัมพันธ์
‫คุณจะเห็นว่าสิ่งนี้ใช้ SQL
‫และมันบอกเราว่ามีการสื่อสารประเภทใด
‫มีหลายวิธีในการสำรวจ Kaggle แต่ข้อมูลสองประเภทนี้มักจะได้รับการจัดระเบียบอย่างดีและง่ายสำหรับเราในการจัดการกับเครื่องมือต่างๆ
‫เช่น แพนด้าสำหรับ CSP
‫และคุณสามารถทำ SQL กับแพนด้าได้ด้วย
‫ประเภทที่สามคือข้อมูลที่ไม่มีโครงสร้าง
‫และแดเนียลก็พูดถึงเรื่องนี้แล้วใช่ไหม?
‫แนวคิดเรื่องข้อมูลที่ไม่มีโครงสร้างนี้เป็นสิ่งที่ดี โดยปกติแล้วจะไม่อยู่ในรูปแบบง่ายๆ ที่เราสามารถจัดการและวิเคราะห์ได้อย่างง่ายดาย
‫สิ่งเหล่านี้มักเป็นสิ่งต่างๆ เช่น อีเมลหรือ PDF หรือเอกสารประเภทใดก็ตามที่อาจเข้าใจได้ยากขึ้นเล็กน้อย
‫มันไม่มีโครงสร้าง
‫ในที่สุด เราก็มีข้อมูลไบนารี
‫ได้แก่ ไฟล์เสียง ไฟล์ภาพ ไฟล์วิดีโอ
‫พวกเขาอยู่ในเลขฐานสอง
‫นั่นคือหนึ่งและศูนย์ที่คอมพิวเตอร์สามารถเข้าใจได้
‫แต่สำหรับเราในการจัดหมวดหมู่ มันยากมากจริงๆ
‫อย่างที่คุณเห็นมันเริ่มจากบนลงล่าง
‫ตั้งแต่ข้อมูลที่มีการจัดระเบียบอย่างดีและมีการติดป้ายกำกับอย่างดีไปจนถึงสิ่งที่ยากต่อการจัดระเบียบเล็กน้อย โดยเฉพาะอย่างยิ่งสำหรับเครื่อง
‫ทำไมเราต้องพูดถึงข้อมูลสี่ประเภทนี้?
‫ก็เพราะว่าธุรกิจส่วนใหญ่
‫ยิ่งมีขนาดใหญ่ขึ้นเท่านั้น ไม่เพียงแต่จะมีข้อมูลที่มีโครงสร้างเท่านั้น แต่ยังมีข้อมูลทุกประเภท
‫อินพุตทุกประเภทที่จำเป็นต้องทำงานร่วมกัน
‫งานหนึ่งของวิศวกรข้อมูลคือการใช้ความจริงที่ว่ามีข้อมูลทุกประเภทเหล่านี้และรวมหรือจัดระเบียบในลักษณะที่เป็นประโยชน์ต่อธุรกิจ
‫มาพักที่นี่และสำรวจเพิ่มเติมในวิดีโอหน้า