‫Chào mừng trở lại.
‫Vì vậy, chúng tôi biết rằng với tư cách là một kỹ sư dữ liệu, bạn thu thập dữ liệu, bạn nhập dữ liệu và sau đó bạn lưu trữ dữ liệu
‫đó trong một hồ dữ liệu, thường là một cụm Hadoop.
‫Giờ đây, ý tưởng về hồ dữ liệu này cũng có thể được sử dụng với một thứ gì đó giống như một bộ lưu trữ đối tượng S3.
‫Vì vậy, đó là hai cái phổ biến nhất.
‫Và sau đó khi chúng nằm trong hồ dữ liệu của bạn, bạn thường có thể chạy các công việc hàng loạt trên dữ liệu này để dọn dẹp
‫hoặc sửa đổi hoặc xử lý nó theo một cách nào đó.
‫Vì vậy, Hadoop đã cho phép chúng tôi làm điều đó.
‫Với MapReduce, chúng ta có thể sử dụng Apache Spark.
‫Bạn chỉ có thể viết script theo cách thủ công trên Amazon S3 hoặc thậm chí bạn có thể thực hiện công việc tốt nhất với cơ sở dữ liệu phổ
‫biến như cơ sở dữ liệu SQL.
‫Nhưng ý tưởng xử lý luồng này ngày càng trở nên phổ biến.
‫Thay vì xử lý dữ liệu chỉ bằng cách sử dụng các công việc hàng loạt, giả sử hàng giờ hoặc hàng ngày, giờ đây có một
‫phong trào hướng tới ý tưởng xử lý luồng thời gian thực này.
‫Điều đó có nghĩa là khi dữ liệu được nhận, hãy xử lý nó ngay lập tức thay vì đợi một chút cho đến khi chúng ta có thể thực hiện
‫hàng loạt cùng một lúc.
‫Điều này cho phép chúng tôi có phản ứng nhanh hơn với dữ liệu.
‫Bây giờ, ý tưởng xử lý luồng này khá phức tạp, nhưng một trong những công cụ chính đang được sử
‫dụng ngay bây giờ để xử lý luồng là thứ được gọi là Kafka.
‫Kafka.
‫Nếu chúng ta nhìn trên trang web của họ là một nền tảng phát trực tuyến phân tán.
‫Nó cho phép chúng ta đọc và ghi các luồng dữ liệu giống như hệ thống nhắn tin.
‫Nó cho phép chúng tôi xử lý và nó cũng cho phép chúng tôi lưu trữ dữ liệu.
‫Nhưng như bạn có thể thấy những gì Kafka làm, nó cho phép chúng tôi nhận tin nhắn và chuyển nó đến những nơi khác nhau.
‫Vì vậy, những gì bạn thường thấy là chúng tôi sử dụng Apache Kafka để nhận tất cả các tin nhắn, nhật ký và dữ liệu này từ tất cả
‫các nguồn này.
‫Chúng tôi thu thập chúng ở một vị trí trung tâm và sau đó Kafka có thể chuyển nó đến các địa điểm khác nhau.
‫Ví dụ: chúng ta có thể chuyển bất cứ thứ gì Kafka nhận được cho một cụm Hadoop để lưu trữ dữ liệu đó.
‫Và có lẽ, nếu chúng ta muốn, hãy sử dụng Apache Spark để xử lý dữ liệu đó thành một kho dữ liệu.
‫Nhưng giờ đây, với ý tưởng về xử lý thời gian thực, Kafka cho phép chúng ta tự chuyển giao mọi thứ cho chính nó.
‫Hoặc chúng ta có thể sử dụng thứ gì đó như Spark Streaming hoặc Flink, mà chúng ta đã nói về Apache
‫Flink được sử dụng nhiều hơn để xử lý luồng hoặc Apache Storm hoặc thậm chí là Kinesis của Amazon, thực sự cũng có thể được đặt như
‫Kafka ở đây để xử lý tất cả các thông báo này từ tất cả các địa điểm này.
‫Bây giờ, vào cuối ngày, tất cả những điều này có thể gây nhầm lẫn.
‫Bạn có thể bị choáng ngợp bởi tất cả những công cụ có sẵn này.
‫Nhưng hãy nhớ những gì tôi đã nói ở đầu phần này.
‫Kỹ sư dữ liệu là người mà bạn sẽ tương tác với tư cách là nhà khoa học dữ liệu.
‫Vì vậy, thật tốt khi biết họ làm gì, vai trò của họ là gì, trách nhiệm của họ là
‫gì và bạn sẽ làm việc chặt chẽ với họ để bạn có sẵn dữ liệu để thực hiện phân tích hoặc xây dựng mô
‫hình học máy.
‫Nhưng tôi hy vọng rằng sơ đồ này bây giờ có ý nghĩa.
‫Một kỹ sư dữ liệu tạo ra bối cảnh này cho bạn nơi họ nhập dữ liệu thông qua Kafka lưu trữ thông tin bằng cách sử
‫dụng một cái gì đó như Hadoop hoặc Amazon S3.
‫Họ xử lý dữ liệu đó bằng cách sử dụng một cái gì đó như Apache Spark hoặc Kinesis.
‫Và sau đó là dữ liệu được lưu trữ thậm chí trong kho dữ liệu.
‫Vì vậy, những người trong doanh nghiệp có thể sử dụng các công cụ như Redshift hoặc BigQuery để tìm hiểu điều gì đó hữu ích từ
‫dữ liệu.
‫Họ xây dựng cấu trúc để bạn phát triển.
‫Vì vậy, hãy đối xử tốt với họ.
‫Và nếu bạn từng quan tâm đến bất kỳ công nghệ nào trong số này, chúng đang thay đổi rất nhanh, nhưng chúng
‫chắc chắn đáng để xem và chúng không đáng sợ để tìm hiểu như bạn nghĩ.
‫Hẹn gặp lại các bạn trong phần tiếp theo.
‫Tạm biệt.