‫ยินดีต้อนรับกลับ.
‫ดังนั้นเราจึงได้เรียนรู้ว่าในฐานะวิศวกรข้อมูล คุณรวบรวมข้อมูล คุณนำเข้าข้อมูล จากนั้นคุณจัดเก็บไว้ใน Data
‫Lake ซึ่งมักจะเป็นคลัสเตอร์ Hadoop
‫ตอนนี้ แนวคิดของ Data Lake นี้ยังสามารถใช้กับบางอย่าง เช่น ที่จัดเก็บอ็อบเจ็กต์ S3
‫นั่นคือสองสิ่งที่ได้รับความนิยมมากที่สุด
‫และเมื่อพวกมันอยู่ใน Data Lake ของคุณแล้ว โดยปกติแล้ว คุณสามารถรันงานแบตช์กับข้อมูลนี้เพื่อล้างข้อมูลหรือแก้ไขหรือสร้างความขัดแย้งในทางใดทางหนึ่ง
‫Hadoop อนุญาตให้เราทำอย่างนั้นได้
‫ด้วย MapReduce เราสามารถใช้ Apache Spark
‫คุณสามารถเขียนสคริปต์ด้วยตนเองบน Amazon S3 หรือเพียงแค่ทำงานที่ดีที่สุดกับฐานข้อมูลทั่วไป
‫เช่น ฐานข้อมูล SQL
‫แต่แนวคิดเรื่องการประมวลผลสตรีมกำลังเป็นที่นิยมมากขึ้นเรื่อยๆ
‫แทนที่จะประมวลผลข้อมูลโดยใช้แค่ชุดงาน สมมติว่าทุกชั่วโมงหรือทุกวัน ตอนนี้มีการเคลื่อนไหวไปสู่แนวคิดของการประมวลผลสตรีมแบบเรียลไทม์
‫ซึ่งหมายความว่าเมื่อได้รับข้อมูลแล้ว จะประมวลผลทันทีแทนที่จะรอสักครู่จนกว่าเราจะทำเป็นแบทช์ได้ในแต่ละครั้ง
‫ซึ่งช่วยให้เราตอบสนองต่อข้อมูลได้รวดเร็วยิ่งขึ้น
‫ตอนนี้ แนวความคิดในการประมวลผลสตรีมค่อนข้างซับซ้อน แต่หนึ่งในเครื่องมือหลักที่กำลังใช้งานอยู่ในขณะนี้สำหรับการประมวลผลสตรีมคือสิ่งที่เรียกว่า
‫Kafka
‫คาฟคา
‫หากเราดูในเว็บไซต์ของพวกเขาเป็นแพลตฟอร์มสตรีมมิ่งแบบกระจาย
‫ช่วยให้เราอ่านและเขียนสตรีมข้อมูลเช่นระบบส่งข้อความ
‫ช่วยให้เราสามารถประมวลผลและช่วยให้เราสามารถจัดเก็บข้อมูลได้เช่นกัน
‫แต่อย่างที่คุณเห็น Kafka ทำอะไร มันทำให้เราสามารถรับข้อความและส่งต่อไปยังที่ต่างๆ ได้
‫ดังนั้นสิ่งที่คุณมักจะเห็นคือ เราใช้ Apache Kafka เพื่อรับข้อความ บันทึก และข้อมูลจากแหล่งเหล่านี้ทั้งหมด
‫เรารวบรวมพวกมันไว้ที่ศูนย์กลาง จากนั้น Kafka ก็สามารถส่งต่อไปยังที่ต่างๆ ได้
‫ตัวอย่างเช่น เราสามารถส่งต่อสิ่งที่ Kafka ได้รับไปยังคลัสเตอร์ Hadoop เพื่อจัดเก็บข้อมูลนั้น
‫และบางที ถ้าเราต้องการ ให้ใช้ Apache Spark เพื่อประมวลผลข้อมูลนั้นในคลังข้อมูล
‫แต่ตอนนี้ ด้วยแนวคิดของการประมวลผลตามเวลาจริง Kafka ช่วยให้เราสามารถส่งต่อสิ่งต่าง ๆ ไปสู่ตนเองได้ดี
‫หรือเราใช้บางอย่างเช่น Spark Streaming หรือ Flink ซึ่งเราเคยพูดถึง Apache Flink ที่ใช้มากกว่าสำหรับการประมวลผลแบบสตรีมหรือ
‫Apache Storm หรือแม้แต่ Kinesis โดย Amazon ซึ่งจริงๆ แล้วสามารถวางเช่น Kafka ที่นี่เพื่อจัดการกับข้อความทั้งหมดจาก
‫สถานที่เหล่านี้ทั้งหมด
‫ท้ายที่สุดแล้ว ทั้งหมดนี้อาจทำให้สับสนได้
‫คุณอาจถูกครอบงำโดยเครื่องมือเหล่านี้ที่มีอยู่ทั้งหมด
‫แต่จำสิ่งที่ฉันพูดไว้ตอนต้นของส่วนนี้
‫วิศวกรข้อมูลคือคนที่คุณจะโต้ตอบด้วยในฐานะนักวิทยาศาสตร์ข้อมูล
‫ดังนั้นจึงเป็นเรื่องดีที่จะรู้ว่าพวกเขาทำอะไร บทบาทของพวกเขาคืออะไร ความรับผิดชอบของพวกเขาคืออะไร
‫และคุณจะทำงานอย่างใกล้ชิดกับพวกเขาเพื่อให้คุณมีข้อมูลที่พร้อมสำหรับการวิเคราะห์หรือสร้างแบบจำลองการเรียนรู้ของเครื่อง
‫แต่ฉันหวังว่าแผนภาพนี้จะสมเหตุสมผล
‫วิศวกรข้อมูลสร้างภูมิทัศน์นี้ให้คุณโดยที่พวกเขานำเข้าข้อมูลผ่าน Kafka จัดเก็บข้อมูลโดยใช้บางอย่างเช่น
‫Hadoop หรือ Amazon S3
‫พวกเขาประมวลผลข้อมูลนั้นโดยใช้บางอย่างเช่น Apache Spark หรือ Kinesis
‫และจากนั้นข้อมูลที่เก็บไว้ในคลังข้อมูล
‫ดังนั้นผู้คนในธุรกิจจึงสามารถใช้เครื่องมืออย่าง Redshift หรือ BigQuery เพื่อเรียนรู้บางสิ่งที่เป็นประโยชน์จากข้อมูลได้
‫พวกเขาสร้างโครงสร้างให้คุณเจริญรุ่งเรือง
‫ดังนั้นจงทำดีกับพวกเขา
‫และหากคุณเคยสนใจในเทคโนโลยีเหล่านี้ พวกมันกำลังเปลี่ยนแปลงไปอย่างรวดเร็ว แต่แน่นอนว่ามันคุ้มค่าที่จะดู
‫และพวกเขาไม่ได้ข่มขู่ที่จะเรียนรู้อย่างที่คุณคิด
‫เจอกันใหม่ตอนหน้าค่ะ
‫ลาก่อน.