‫มาจบภาพรวมระดับสูงของสิ่งที่วิศวกรข้อมูลทำโดยอธิบายงานหลักสามประการที่พวกเขาทำกัน
‫หนึ่งคือพวกเขาสร้างสิ่งที่เราเรียกว่าไปป์ไลน์ ETL
‫หรือสารสกัดแปลงไปป์ไลน์โหลด
‫จึงไม่เหมือนกับการนำเข้าข้อมูล ซึ่งหมายถึงการย้ายข้อมูลจากที่หนึ่งไปยังอีกที่หนึ่ง
‫และไปป์ไลน์ ETL เป็นแนวคิดที่ว่าวิศวกรข้อมูลดึงข้อมูลที่สร้างขึ้นโดยระบบเหล่านี้ทั้งหมด
‫พวกเขาดึงข้อมูลนั้นออกมา และเมื่อดึงข้อมูลนั้นออกมา พวกมันก็จะแปลงร่าง
‫ข้อมูลลงในฟอร์มที่เป็นประโยชน์ซึ่งอยู่ในฟอร์มที่สามารถโหลดลงในคลังข้อมูลได้
‫ดังนั้นพวกเขาจึงดึงข้อมูล
‫พวกเขาแปลงข้อมูล
‫และโหลดลงในบางอย่างเช่นคลังข้อมูล เพื่อให้ข้อมูลที่เหลือในบริษัทสามารถใช้ข้อมูลได้
‫และพวกเขาใช้ภาษาการเขียนโปรแกรมเช่น Python, Go Scala และ Java เพื่อทำงาน ETL เหล่านี้ให้สำเร็จหรือแยกโหลดการแปลง
‫นั่นคือภารกิจแรก
‫อันที่สองคืออะไร?
‫อันที่สองคือการสร้างเครื่องมือวิเคราะห์
‫คุณเห็นให้เราเข้าใจว่าระบบของบริษัททำงานอย่างไร
‫วิศวกรข้อมูลจำเป็นต้องตรวจสอบให้แน่ใจว่าเมื่อส่วนใดของระบบหยุดทำงาน เราได้รับแจ้ง
‫ดังนั้นวิศวกรข้อมูลจึงอนุญาตให้นักวิทยาศาสตร์ข้อมูล นักวิเคราะห์ข้อมูล คนข่าวกรองธุรกิจ ใช้เครื่องมือในการวิเคราะห์ข้อมูล
‫แต่ยังต้องแน่ใจว่าระบบที่พวกเขาวางไว้นั้นทำงานอย่างถูกต้อง
‫ในที่สุด งานหลักที่สามของพวกเขาคือการบำรุงรักษาคลังข้อมูลและ Data Lake อย่างชัดเจน
‫นั่นคือการทำให้แน่ใจว่าทุกอย่างในนั้นสามารถเข้าถึงได้สำหรับส่วนอื่น ๆ ของบริษัทที่จะใช้
‫ตอนนี้เรามีภาพรวมระดับสูงเกี่ยวกับสิ่งที่วิศวกรข้อมูลทำ
‫ฉันต้องการพูดเกี่ยวกับเครื่องมือบางอย่างที่คุณเคยได้ยินมาอย่างแน่นอนในอุตสาหกรรม
‫เช่น Hadoop, Kafka, Apache, Spark คำศัพท์เหล่านี้เข้าใจยากจริงๆ
‫ฉันจะพยายามให้ภาพรวมของภูมิทัศน์นี้แก่คุณ เพื่อที่คราวหน้าเมื่อมีคนถามคุณว่า เฮ้
‫เราควรใช้ Hadoop ไหม
‫เฮ้ Hadoop มีไว้เพื่ออะไร?
‫เราต้องการคาฟคาหรือไม่?
‫คุณจะสามารถตอบได้ว่า
‫และหลังจากจบหลักสูตรนี้ คุณจะออกไปได้ด้วยตัวเองและเรียนรู้ที่จะใช้เครื่องมือเหล่านี้จริงๆ หากพบเห็นในงานของคุณ
‫ตอนนี้ภูมิทัศน์นี้กำลังเปลี่ยนแปลงอย่างรวดเร็ว
‫มีเครื่องมือใหม่ปรากฏขึ้นทางซ้าย ขวา และตรงกลาง
‫ดังนั้นคำแนะนำของฉันคือสิ่งที่ฉันจะแสดงให้คุณเห็นในวิดีโอสองสามวิดีโอถัดไปที่คุณไม่ได้ถ่าย
‫เนื่องจากวิศวกรข้อมูลทุกคนต้องรู้อย่างแน่นอน
‫ให้รู้ว่าสิ่งเหล่านี้มีอยู่จริง
‫ไปอ่านเอกสารของพวกเขา ข้อมูลบางส่วนทางออนไลน์ แต่เรียนรู้หรือใช้งานเมื่อมีความจำเป็นเท่านั้น
‫เนื่องจากมีการปรับปรุงอยู่ตลอดเวลา
‫และโลกของวิศวกรรมข้อมูลกำลังก้าวไปอย่างรวดเร็วจริงๆ
‫แต่ด้วยที่กล่าวมา เรามาเจาะลึกข้อมูลในวิดีโอถัดไปกัน