‫ตกลง.
‫ดังนั้นในวิดีโอที่แล้ว เราเข้าใจว่าวิศวกรข้อมูลสร้างไปป์ไลน์ข้อมูลนี้ให้เราเป็นหลัก
‫เพื่อให้คนชอบนักวิทยาศาสตร์ข้อมูลมีข้อมูลที่จะใช้งานได้
‫แต่ฉันต้องการใช้ตัวอย่างอื่น
‫มาแสร้งทำเป็นว่า Keiko Corp. มีความต้องการและความต้องการนั้นก็คือน้ำ
‫พนักงานต้องการน้ำ
‫ทำงานหนักใช่มั้ย?
‫ลองคิดดูว่านี่เป็นปัญหาที่วิศวกรข้อมูลแก้ได้
‫ตอนนี้อดทนกับฉัน
‫เรากำลังพูดถึงน้ำสักครู่ แต่ฉันสัญญาว่ามันจะเกี่ยวข้องกับข้อมูล
‫คุณเห็นไหมว่าสิ่งแรกที่เราจะได้น้ำคืออัตราฝน
‫เราต้องการฝน
‫และนี่ก็คล้ายกับแหล่งข้อมูลที่เรามี
‫นั่นคือเว็บไซต์, โทรศัพท์มือถือ, กล้อง, รถยนต์, โดรน
‫ทั้งหมดนี้กำลังรวบรวมข้อมูล
‫เม็ดฝนก็เป็นเช่นนั้น
‫ดังนั้นการที่เราจะให้น้ำแก่พนักงานได้นั้น เราต้องไปหาน้ำจากที่ไหนสักแห่ง
‫และน้ำนั้นมาจากฝน
‫จากนั้นน้ำจะถูกรวบรวมไปยังลำธารและแม่น้ำต่างๆ จากทั่วทุกแห่ง จากทั่วทุกมุมโลก เช่นเดียวกับข้อมูลจากที่ต่างๆ
‫ธารน้ำเหล่านี้เริ่มก่อตัว
‫แล้วจะเกิดอะไรขึ้นต่อไป?
‫กระแสน้ำเหล่านี้กลายเป็นทะเลสาบ
‫พวกเขาทั้งหมดไหลลงสู่ทะเลสาบบางประเภท
‫และทะเลสาบนั้นก็นั่งนิ่ง
‫แต่อีกครั้ง เราในฐานะองค์กรต้องการน้ำจากพนักงาน
‫เห็นได้ชัดว่าเรามีเขื่อนในทะเลสาบและเขื่อนในทะเลสาบหรือระบบที่จะใช้ทะเลสาบนั้น
‫เราขนส่งน้ำนั้นไปยังส่วนต่างๆ เช่น บ่อกรอง สุขอนามัย เพื่อที่เราจะสามารถล้างน้ำ ฆ่าเชื้อได้
‫จึงปลอดภัยสำหรับผู้คนที่จะดื่ม
‫ดังนั้นเราจึงประมวลผลน้ำที่เก็บรวบรวมไว้
‫และสุดท้ายหลังจากนั้น เราก็สร้างระบบประปาและท่อส่งน้ำให้กับบริษัท Keiko
‫Corp.
‫นั่นเป็นวิธีที่เราตอบสนองความต้องการของ KeyCorp ในการจัดหาน้ำให้กับพนักงานของพวกเขา
‫และนี่คือวิธีการทำงานของข้อมูล
‫และนี่คือสิ่งที่วิศวกรข้อมูลสร้างขึ้น
‫วิศวกรข้อมูล
‫เริ่มต้นด้วยสิ่งที่เราเรียกว่าการนำเข้าข้อมูล
‫นั่นคือการได้มาซึ่งข้อมูลจากแหล่งต่างๆ
‫และเราได้รับแหล่งข้อมูลต่างๆ เหล่านี้ทั้งหมด และนำเข้าไปยังสิ่งที่เราเรียกว่า data lake
‫Data Lake คือการรวบรวมข้อมูลทั้งหมดนี้ไว้ในที่เดียว
‫จากนั้นเราก็ปล่อยทะเลสาบไว้เหมือนเดิม
‫แต่มีปัญหา
‫เราไม่ต้องการให้น้ำล้น ให้แห้ง
‫เราจำเป็นต้องจัดการทะเลสาบแห่งนี้อย่างใด
‫เราไม่ต้องการให้น้ำท่วมหมู่บ้าน
‫เราต้องการเขื่อน
‫เราต้องการท่อไปที่บ้าน
‫เราจำเป็นต้องกรองและทำความสะอาดน้ำและเราต้องวางท่อส่งถึงบ้าน
‫ดังนั้น หลังจากที่เรานำเข้าข้อมูลนี้จากแหล่งต่างๆ แล้ว เราก็เก็บรวบรวมข้อมูลใน Data Lake
‫จากนั้นเราดำเนินการบางอย่างที่เรียกว่าการแปลงข้อมูลที่แปลงข้อมูลจากรูปแบบหนึ่งไปยังอีกรูปแบบหนึ่ง
‫ซึ่งมักจะเป็นสิ่งที่เรียกว่าคลังข้อมูล
‫คลังข้อมูลเป็นสถานที่ที่จัดเก็บข้อมูลที่สามารถเข้าถึงได้ซึ่งเป็นประโยชน์สำหรับธุรกิจ
‫นั่นคือแม้ว่าทะเลสาบจะเก็บน้ำได้มาก แต่มีข้อมูลมากมาย แต่ก็มีอยู่ทั่วทุกแห่ง
‫วิศวกรข้อมูลจะพิจารณาข้อมูลนี้และจัดรูปแบบหรือใช้ส่วนต่างๆ ของข้อมูลที่เป็นประโยชน์และวางไว้ในคลังข้อมูลเพื่อให้ส่วนอื่นๆ
‫ของธุรกิจกลับมาใช้งานได้อีกครั้ง
‫วิธีที่ดีในการคิดเกี่ยวกับเรื่องนี้คือ data lake เป็นกลุ่มของข้อมูลดิบ
‫จุดประสงค์ที่เรายังไม่รู้จะทำอย่างไรในคลังข้อมูลคือสถานที่สำหรับข้อมูลที่มีโครงสร้าง กรองแล้ว
‫ซึ่งได้รับการประมวลผลแล้วและมีวัตถุประสงค์เฉพาะ
‫นั่นคือเรามีข้อมูลที่เป็นประโยชน์สำหรับธุรกิจที่นี่
‫นั่นหมายความว่า Data Lake มักจะมีการจัดระเบียบน้อยกว่าและมีการกรองข้อมูลน้อยกว่าบางอย่างเช่นคลังข้อมูล
‫แล้วทำไมธุรกิจถึงต้องการทำเช่นนั้น?
‫ประการหนึ่ง การวิเคราะห์ข้อมูลง่ายกว่ามากเมื่อมีการจัดระเบียบบ่อน้ำ
‫เราอาจมีข้อมูลในที่นี้ซึ่งเราไม่ต้องการจริงๆ
‫เรายังประหยัดพื้นที่จัดเก็บใช่ไหม
‫เพราะเราไม่ต้องจัดเก็บข้อมูลทั้งหมดนี้ และจัดเก็บข้อมูลที่มีโครงสร้างเท่านั้นที่เป็นประโยชน์ต่อเราเท่านั้น
‫เรายังประหยัดเงินอีกด้วย
‫ดังนั้น ในการตรวจสอบวิศวกรข้อมูล เพียงแค่สร้างไปป์ไลน์สำหรับการสร้างข้อมูลและการดักจับข้อมูล โดยใช้แนวทางปฏิบัติด้านวิศวกรรมข้อมูลเพื่อสร้างไปป์ไลน์นี้
‫เพื่อให้นักวิทยาศาสตร์ข้อมูลและนักวิเคราะห์ข้อมูลสามารถวิเคราะห์ข้อมูลได้ในขณะนี้
‫แต่เรายังมีอีกเล็กน้อยที่จะไป
‫แล้วพบกันใหม่ในวิดีโอหน้าครับ