‫Hãy nói về Apache Spark và Apache Flink.
‫Bạn thấy đó, trước Apache Spark, thông thường mọi người sử dụng Hadoop, MapReduce để xử lý mọi thứ.
‫Spark ra đời và thực sự cải thiện MapReduce và Hadoop bằng cách thực hiện một thứ
‫gọi là xử lý trong bộ nhớ, về cơ bản cho phép Spark chạy các công việc xử lý nhanh hơn nhiều so với MapReduce.
‫Vì vậy, Apache Spark đã trở nên thực sự, thực sự phổ biến và nó có thể là khuôn khổ xử lý hàng loạt.
‫Vì vậy, nếu bạn muốn xử lý nhiều dữ liệu, bạn có thể sử dụng Hadoop để lưu trữ dữ liệu dữ liệu đó trong
‫HDFS và sử dụng Apache Spark để chạy các công việc ETL như trích xuất, chuyển đổi, tải để làm sạch và chuyển đổi dữ liệu đó.
‫Bây giờ, cho đến bây giờ, chúng tôi đã xử lý hàng loạt, về cơ bản có nghĩa là cung cấp cho tôi một phần dữ liệu và tôi
‫sẽ xử lý dữ liệu này trong một khoảng thời gian ngắn.
‫Thông thường, bạn sẽ thực hiện một công việc xử lý hàng loạt vào cuối đêm và vào buổi sáng sau vài
‫giờ, công việc đã hoàn thành.
‫Nhưng từ vài năm trước, ý tưởng về xử lý thời gian thực bắt đầu xuất hiện.
‫Những thứ như phát trực tuyến tia lửa ra mắt, gần như giúp xử lý thời gian thực.
‫Đó là, thay vì xử lý hàng loạt nơi bạn chờ đợi cho đến cuối đêm để chạy một số công việc với
‫lượng dữ liệu.
‫Thay vào đó, mỗi khi có dữ liệu, bạn sẽ xử lý dữ liệu đó trong không gian này.
‫Apache Flink thực sự đã đảm nhận trọng trách.
‫Nó cung cấp xử lý luồng thời gian thực.
‫Bây giờ, mặc dù Spark vẫn còn phổ biến, nhưng các công cụ như Apache Flink đang bắt đầu trở nên phổ biến.
‫Ý tưởng truyền dữ liệu và xử lý luồng này ngày càng trở nên phổ biến.
‫Nó vẫn còn mới, nhưng có một số điều thú vị đang xảy ra trong cảnh quan này.
‫Vì vậy, hãy nói về điều đó trong video tiếp theo.