‫ยินดีต้อนรับกลับ.
‫ดังนั้นเราจึงเพิ่งผ่านขั้นตอนทั้งหมดนี้ว่าบริษัทใช้ข้อมูลอย่างไร
‫แต่มีอีกสองสามเรื่องที่ฉันอยากจะพูดถึง เพราะตอนนี้เราเพิ่งคุยกันเรื่องน้ำ และสิ่งนี้มันใช้ได้จริงอย่างไร?
‫Data Engineer ใช้เครื่องมือประเภทใด?
‫ดีคุณอาจเคยได้ยินบางอย่างเช่น
‫คาฟคาและเราจะไปคาฟคาในภายหลัง
‫แต่บางอย่างเช่นการรวบรวมสตรีมข้อมูลเหล่านี้และใส่ลงใน Data Lake
‫อาจเป็นสิ่งที่ Kafka หรือ Apache Kafka อาจทำกับ data lake เป็นต้น
‫นี่เป็นเพียงโปรแกรมที่บริษัทต่างๆ สามารถใช้ได้
‫ตัวอย่างเช่น คุณอาจเคยได้ยินเกี่ยวกับ Hadoop หรือ Amazon S3 หรือ Azure Data Lake
‫โปรแกรมเหล่านี้เป็นโปรแกรมที่สร้างขึ้นโดยวิศวกรเพื่อเก็บข้อมูลจำนวนมาก เช่น การรั่วไหลของข้อมูล
‫และสำหรับคลังข้อมูลของเรา เรามีเครื่องมืออย่าง Google, BigQuery, Amazon, Redshift, แม้แต่ Amazon,
‫Athena
‫คลังข้อมูลเหล่านี้เป็นคลังข้อมูลที่อนุญาตให้วิศวกรสอบถามหรือวิเคราะห์ข้อมูลที่มีโครงสร้างนี้
‫ตอนนี้ฉันรู้แล้วว่าคุณคิดอะไรอยู่
‫ใครทำอะไรในระบบทั้งหมดนี้?
‫เราได้เรียนรู้ว่าวิศวกรข้อมูลสร้างระบบทั้งหมดให้เรา
‫พวกเขาใช้เครื่องมือและโปรแกรมต่างๆ เพื่อนำเข้าข้อมูลแล้วนำไปไว้ใน data lake หรือ data data
‫ในฐานะนักวิทยาศาสตร์ข้อมูลและผู้เชี่ยวชาญด้านการเรียนรู้ของเครื่อง
‫คุณใช้ข้อมูลใด
‫หยุดวิดีโอและคิดเกี่ยวกับมัน
‫พร้อมสำหรับคำตอบ
‫ส่วนใหญ่คุณจะทำงานกับ data lake
‫เพราะอย่าลืมว่าถ้าคุณทำการเรียนรู้ด้วยเครื่อง ยิ่งคุณมีข้อมูลมากเท่าไหร่ก็ยิ่งดีใช่ไหม
‫และด้วยแมชชีนเลิร์นนิง คุณสามารถใช้ข้อมูลที่มีโครงสร้างหรือไม่มีโครงสร้างได้
‫ดังนั้นคุณจึงสามารถเข้าไปใน Data Lake และดึงข้อมูลจำนวนมากเพื่อใช้สำหรับโมเดลของคุณ ไม่ว่าจะเป็นรูปแบบ
‫CSV หรือรูปแบบอื่นๆ
‫และโดยปกติแล้ว คลังข้อมูลจะถูกใช้โดยเด็กทารก หรือคนที่ฉลาดทางธุรกิจ หรือนักวิเคราะห์ธุรกิจ หรือนักวิเคราะห์ข้อมูล
‫เพื่อสร้างภาพหรือวิเคราะห์ข้อมูล
‫เนื่องจากคลังข้อมูลมักจะมีข้อมูลที่มีโครงสร้างมากกว่าที่ถูกล้างออกไปมากกว่าตอนที่ข้อมูลรั่วไหล
‫เข้าใจและใช้ข้อมูลได้ง่ายขึ้นมาก
‫ตอนนี้ ในฐานะนักวิทยาศาสตร์ข้อมูล คุณสามารถใช้ข้อมูลจากคลังข้อมูลได้
‫และนี่ไม่ใช่แค่กฎ โดยปกติแล้วคุณใช้ข้อมูลใดก็ตามที่สามารถใช้ได้
‫แต่นี่เป็นวิธีที่ดีในการคิดเกี่ยวกับสิ่งที่นักวิทยาศาสตร์ข้อมูลใช้ข้อมูลมากที่สุดเท่าที่จะมากได้ ข้อมูลที่เป็นประโยชน์มากที่สุดเท่าที่จะทำได้
‫ในขณะที่บางคนเช่นนักธุรกิจอัจฉริยะหรือนักวิเคราะห์ข้อมูลมีกระบวนการล้างข้อมูลโดยวิศวกรข้อมูลแล้วและใช้บางอย่างเช่นคลังข้อมูลเพื่อวิเคราะห์ข้อมูล
‫และคำถามใหญ่ของ Google ก็เป็นเช่นนั้น
‫ช่วยให้ผู้ที่มีประสบการณ์ด้านวิศวกรรมหรือประสบการณ์ในการเขียนโปรแกรมไม่มากนักสามารถวิเคราะห์ข้อมูลนี้ในคลังข้อมูลได้
‫วิธีคิดอีกอย่างหนึ่งก็คือ โดยปกติแล้ว วิศวกรซอฟต์แวร์ นักพัฒนาซอฟต์แวร์ นักพัฒนาแอป
‫นักพัฒนาอุปกรณ์เคลื่อนที่ พวกเขาสร้างโปรแกรมและแอปที่ผู้ใช้และลูกค้าใช้และเผยแพร่ข้อมูล
‫จากนั้นวิศวกรข้อมูลจะสร้างไพพ์และไปป์ไลน์นี้ให้เรานำเข้าข้อมูลและเก็บไว้ในบริการต่างๆ เช่น Hadoop
‫เช่น Google, BigQuery เพื่อให้ธุรกิจที่เหลือสามารถเข้าถึงข้อมูลนั้นได้
‫ต่อไป เรามีนักวิทยาศาสตร์ข้อมูลที่ใช้ data Lake เช่นเดียวกับนักวิทยาศาสตร์ข้อมูลเพื่อดึงข้อมูลและส่งมอบมูลค่าทางธุรกิจบางประเภท
‫สุดท้าย เรามีนักวิเคราะห์ข้อมูลหรือข่าวกรองธุรกิจเพื่อใช้บางอย่าง เช่น คลังข้อมูลหรือข้อมูลที่มีโครงสร้าง เพื่อให้ได้มาซึ่งมูลค่าทางธุรกิจอีกครั้ง
‫และฉันหวังว่านั่นจะทำให้ภาพชัดเจนขึ้นเล็กน้อยเมื่อคุณได้ยินชื่อเหล่านี้ทั้งหมดในอุตสาหกรรม
‫ตอนนี้ อุตสาหกรรมมีการพัฒนาอย่างรวดเร็วและมีความทับซ้อนกันอยู่บ้าง
‫และบางครั้งคำอธิบายงานอาจแตกต่างไปจากที่อื่น
‫แต่กฎเหล่านี้เป็นกฎทั่วไปที่เข้าใจง่าย ซึ่งคุณสามารถใช้เพื่อทำความเข้าใจว่าแต่ละบทบาทมีบทบาทอย่างไรในส่วนหนึ่งของบริษัท