‫ตกลง.
‫วิศวกรข้อมูลทำอะไรจริงๆ?
‫เริ่มจากคำสำคัญสามคำที่เราจำเป็นต้องเข้าใจก่อนที่เราจะเข้าใจจริงๆ ว่าวิศวกรข้อมูลทำอะไร
‫ใช่ฉันรู้.
‫ฉันวนเวียนอยู่รอบๆ วิศวกรข้อมูล และฉันทำให้คุณตื่นเต้นอยู่เสมอ แต่ฉันสัญญาว่าเราใกล้จะถึงแล้วจริงๆ
‫เราแค่ต้องหารือเกี่ยวกับคำสามคำนี้ที่คุณอาจเคยได้ยินหรือไม่เคยได้ยินมาก่อน
‫หนึ่งคือการทำเหมืองข้อมูลและการทำเหมืองข้อมูลหมายถึงการประมวลผลล่วงหน้าและดึงความรู้บางส่วนออกจากข้อมูล
‫ดังนั้นเราจึงใช้ข้อมูลบางประเภทเพื่อดึงความรู้ออกมา
‫นั่นคือสิ่งที่การทำเหมืองข้อมูลเป็น
‫ข้อมูลใหญ่?
‫มันหมายความว่าเรามีข้อมูลจำนวนมาก ตัวแปรมากมาย ข้อมูลมากมาย ที่จริงแล้ว คุณไม่สามารถเรียกใช้บนแล็ปท็อปของคุณได้
‫มีข้อมูลมากเกินไปสำหรับแล็ปท็อปหรือคอมพิวเตอร์ของคุณ
‫โดยปกติเมื่อเราพูดถึงบิ๊กดาต้า มันคือข้อมูลที่ใหญ่มากจนคุณต้องรันบนคลาวด์คอมพิวติ้งหรือคอมพิวเตอร์หลายเครื่อง
‫เช่น AWS Azure และ Google Cloud เพราะมีคอมพิวเตอร์จำนวนมากและพื้นที่เก็บข้อมูลจำนวนมากเพื่อเก็บข้อมูลนี้ .
‫นั่นคือเหตุผลที่ข้อมูลขนาดใหญ่เป็นข้อมูลขนาดใหญ่คือข้อมูลที่ปกติแล้วคุณไม่สามารถมีได้ในคอมพิวเตอร์เครื่องเดียว
‫ซึ่งมักจะเกิดขึ้นเพราะว่าชุดข้อมูลมีขนาดใหญ่มาก
‫ขณะนี้มีข้อมูลระดับเพทาไบต์และเพทาไบต์
‫ดังนั้นการมีข้อมูลในฐานข้อมูลอย่าง MySQL หรือ Post Grass หรือฐานข้อมูลประเภทใดก็ตามกลายเป็นเรื่องยากมากเมื่อฐานข้อมูลนั้นเป็นเพียงเครื่องเดียว
‫ตอนนี้ มีการคิดค้นเทคโนโลยีใหม่ๆ เพื่อแก้ปัญหาของข้อมูลขนาดใหญ่ เช่น Hadoop และ NoSQL ซึ่งเราจะพูดถึง
‫ตอนนี้ไปป์ไลน์ข้อมูลเป็นไปป์ไลน์ที่วิศวกรข้อมูลสร้างขึ้นเพื่อใช้ความจริงที่ว่าเรามีข้อมูลจำนวนมาก
‫เราจำเป็นต้องดึงข้อมูลจากข้อมูลนี้โดยใช้การทำเหมืองข้อมูล
‫ดังนั้นเราจึงจำเป็นต้องนำหรือสร้างไปป์ไลน์ที่ช่วยให้เราไหลจากข้อมูลจำนวนมากที่ไม่รู้จักไปยังไปป์ไลน์ที่ดึงข้อมูลไปยังรูปแบบที่มีประโยชน์มากขึ้น
‫ดังนั้นวิศวกรข้อมูลจึงสร้างท่อส่งข้อมูลที่ข้อมูลทั้งหมดที่อุปกรณ์ต่างๆ เช่น อุปกรณ์
‫Iot, แอปพลิเคชันมือถือ, เว็บแอป, กล้อง, รถยนต์ และอะไรก็ได้ที่รวบรวมข้อมูลและจัดเก็บข้อมูลหรือบันทึกข้อมูลลงในเซิร์ฟเวอร์หรือบนคลาวด์
‫.
‫วิศวกรข้อมูลจะรวบรวมข้อมูลทั้งหมดนี้ไว้ในฐานข้อมูลและเอ็นจิ้นการจัดเก็บข้อมูลที่อัดแน่นอย่างดี เพื่อให้ส่วนต่างๆ
‫ของบริษัทสามารถสร้างการแสดงภาพ สามารถตรวจสอบประสิทธิภาพของผลิตภัณฑ์ได้ รับข้อมูลเชิงลึกทางธุรกิจและตัดสินใจทางธุรกิจจากข้อมูลนี้และแม้กระทั่งนำไปใช้
‫ข้อมูลนี้ในแอปของพวกเขา
‫ตัวอย่างเช่น สำหรับโปรไฟล์ผู้ใช้ก่อนที่นักวิทยาศาสตร์ข้อมูลหรือผู้เชี่ยวชาญด้านการเรียนรู้ของเครื่อง หรือแม้แต่ระบบธุรกิจอัจฉริยะหรือนักวิเคราะห์ข้อมูลจะได้รับการว่าจ้างให้ทำงานในบริษัทขนาดใหญ่
‫สิ่งที่พวกเขาต้องทำก่อนที่จะทำได้ทั้งหมดคือการจ้างวิศวกรข้อมูล
‫พวกเขาสร้างไปป์ไลน์ที่ช่วยให้เราทำงานเป็นนักวิทยาศาสตร์ข้อมูล
‫จำไดอะแกรมนี้และวิธีที่เรามุ่งเน้นในส่วนนี้
‫วิศวกรข้อมูลอนุญาตให้เราทำส่วนการรวบรวมข้อมูลนี้ได้
‫พวกเขานำข้อมูลทั้งหมดนี้มา จัดระเบียบในลักษณะที่เราจะสร้างแบบจำลองข้อมูลของเรา
‫พวกเขาช่วยเราในส่วนการรวบรวมข้อมูลซึ่งโดยปกติแล้วในฐานะวิศวกรการเรียนรู้ของเครื่องหรือนักวิทยาศาสตร์ข้อมูล
‫คุณไม่จำเป็นต้องกังวลเรื่องนี้มากนัก
‫แต่คุณรู้อะไรไหม?
‫การสาธิตที่ฉันชอบที่สุดว่าวิศวกรข้อมูลคืออะไรในวิดีโอหน้า
‫ฉันหวังว่าคุณจะตื่นเต้นเพราะสิ่งต่าง ๆ กำลังจะเริ่มมีเหตุผลมากขึ้นเรื่อย ๆ
‫ฉันจะพบคุณที่หนึ่ง
‫ลาก่อน.