‫มาพูดถึง Apache Spark และ Apache Flink กันดีกว่า
‫คุณเห็นแล้วว่าก่อนที่ Apache Spark มักจะมีคนใช้ Hadoop, MapReduce เพื่อประมวลผลทุกอย่าง
‫Spark เข้ามาพร้อมทั้งปรับปรุง MapReduce และ Hadoop โดยทำสิ่งที่เรียกว่าการประมวลผลในหน่วยความจำ
‫ซึ่งทำให้ Spark ทำงานการประมวลผลได้เร็วกว่า MapReduce มาก
‫ดังนั้น Apache Spark จึงได้รับความนิยมอย่างมากและอาจเป็นกรอบการประมวลผลแบบแบตช์
‫ดังนั้น หากคุณต้องการประมวลผลข้อมูลจำนวนมาก คุณสามารถใช้ Hadoop เพื่อจัดเก็บข้อมูลนั้นใน
‫HDFS และใช้ Apache Spark เพื่อรันงาน ETL เช่น แยก แปลง โหลดเพื่อล้างข้อมูล และแปลงข้อมูลนั้น
‫จนถึงตอนนี้ เรามีการประมวลผลแบบกลุ่ม ซึ่งหมายถึงให้ข้อมูลบางส่วนแก่ฉัน แล้วฉันจะประมวลผลข้อมูลนี้ในช่วงเวลาหนึ่ง
‫โดยปกติ คุณจะเรียกใช้งานการประมวลผลแบบกลุ่มในตอนกลางคืน และในตอนเช้าหลังจากผ่านไปสองสามชั่วโมง
‫งานจะเสร็จสิ้น
‫แต่เมื่อไม่กี่ปีที่ผ่านมา แนวคิดเรื่องการประมวลผลตามเวลาจริงเริ่มเกิดขึ้น
‫สิ่งต่าง ๆ เช่น Spark Streaming ออกมาซึ่งเกือบจะทำให้การประมวลผลตามเวลาจริงเป็นไปได้
‫กล่าวคือ แทนที่จะใช้การประมวลผลแบบกลุ่มที่คุณรอจนถึงช่วงดึกเพื่อเรียกใช้งานบางอย่างตามปริมาณข้อมูล
‫ทุกครั้งที่มีข้อมูลเข้ามา คุณจะประมวลผลข้อมูลนั้นในพื้นที่นี้
‫Apache Flink เข้ารับตำแหน่งจริงๆ
‫มีการประมวลผลสตรีมตามเวลาจริง
‫ตอนนี้ แม้ว่า Spark จะยังคงได้รับความนิยม แต่เครื่องมืออย่าง Apache Flink ก็กำลังเริ่มเป็นที่นิยมในขณะนี้
‫แนวคิดเรื่องการสตรีมข้อมูลและการประมวลผลสตรีมกำลังเป็นที่นิยมมากขึ้นเรื่อยๆ
‫ยังใหม่อยู่ แต่มีสิ่งที่น่าตื่นเต้นเกิดขึ้นในภูมิทัศน์นี้
‫มาพูดถึงเรื่องนั้นกันในวิดีโอหน้า