‫Hãy nói về Hadoop.
‫Vì vậy, khi các công ty bắt đầu tạo ra ngày càng nhiều dữ liệu, cơ sở dữ liệu mà chúng tôi có, như MySQL,
‫trở nên quá kém hiệu quả hoặc không thể chứa được lượng lớn dữ liệu.
‫Và Hadoop đã trở thành nền tảng của kỹ thuật dữ liệu.
‫Bạn thấy đấy, Hadoop là một khung xử lý phân tán mã nguồn mở.
‫Nó cho phép chúng tôi xử lý và lưu trữ dữ liệu cho dữ liệu lớn.
‫Và nó thực sự được phát triển bởi Yahoo!
‫Quay lại thời điểm đó và sau đó quyên góp cho Apache Software Foundation.
‫Hadoop đã trở thành cơn thịnh nộ khi cơn sốt dữ liệu lớn bắt đầu.
‫Hadoop là một giải pháp cho phép tất cả các công ty có petabyte dữ liệu này lưu trữ thông tin
‫này trong Hadoop.
‫Bây giờ, Hadoop về cơ bản là một hồ dữ liệu, phải không?
‫Đó là một giải pháp hồ dữ liệu.
‫Nó cho phép chúng tôi chỉ lưu trữ tất cả dữ liệu này cho chúng tôi.
‫Nhưng sự nổi tiếng của Hadoop là do hai điều lớn.
‫Một là HD FS.
‫Đó là hệ thống tệp phân tán Hadoop.
‫Hadoop có thể lưu trữ rất nhiều dữ liệu vì HDFS này, một hệ thống tệp giống như bạn có trên máy
‫tính của mình cho phép nó lưu trữ tệp trên nhiều máy tính.
‫Tức là chúng ta có thể sử dụng Hadoop trên nhiều máy tính để lưu trữ nhiều dữ liệu tùy thích.
‫Nó có thể mở rộng.
‫Chúng tôi có thể mở rộng quy mô.
‫Vì vậy, dữ liệu được lưu trữ trên các máy tính vật lý khác nhau.
‫Sau đó là MapReduce, vì một khi chúng ta lưu trữ dữ liệu, chúng ta cần thực hiện một số công việc, một số xử lý trên dữ liệu
‫đó.
‫Đúng.
‫Và MapReduce trong Hadoop cho phép chúng tôi thực hiện các công việc dựa trên dữ liệu này mà chúng tôi có trong hồ dữ liệu bằng
‫các ngôn ngữ như Java hoặc Python.
‫Bạn có thể sử dụng MapReduce trong Hadoop để thực hiện những gì chúng tôi gọi là xử lý hàng loạt.
‫Có nghĩa là, mỗi đêm, chúng tôi có thể thực hiện một số công việc để dọn dẹp dữ liệu, xử lý dữ liệu của chúng tôi và làm cho dữ
‫liệu đó trở nên hữu ích cho công ty.
‫Giờ đây, MapReduce không còn được sử dụng thường xuyên như chúng ta sẽ thấy ở phần sau của các video vì chúng ta có một thứ
‫gọi là Apache Spark thực sự nhanh hơn một chút.
‫Nhưng chúng ta sẽ đạt được điều đó.
‫Ý tưởng ở đây là cuối cùng chúng tôi đã có một công cụ với Hadoop cho phép chúng tôi
‫lưu trữ nhiều dữ liệu trên nhiều máy bằng cách sử dụng công việc hàng loạt HDFS và Ron bằng cách sử dụng MapReduce trên bộ dữ liệu lớn này và
‫nhiều công cụ khác bắt đầu xuất hiện xung quanh Hadoop các công cụ như Hive.
‫Nhân tiện, hãy yêu logo của họ.
‫Kiểm tra đó ra.
‫Dẫu sao thì.
‫Hive tạo cụm Hadoop của bạn.
‫Cảm giác như đó là một cơ sở dữ liệu quan hệ.
‫Mặc dù nó không phải là.
‫Nó cho phép bạn sử dụng Hive và viết các truy vấn SQL vào hệ thống tệp HDFS của bạn.
‫Vì vậy, theo một nghĩa nào đó, bạn đã có một hồ dữ liệu này của Hadoop và cũng có một chút kiểu kho dữ liệu với
‫Hive bằng cách cho phép các lệnh SQL trên dữ liệu của bạn mà hy vọng được xử lý bằng MapReduce.
‫Và bạn có thể chưa nghe nói về Hadoop trước đây vì nó được sử dụng bởi các kỹ sư dữ liệu.
‫Hãy nhớ rằng, các kỹ sư dữ liệu thường không làm việc trên các hệ thống mà khách hàng đang gặp phải.
‫Có nghĩa là, họ không xây dựng cơ sở dữ liệu mà bạn sẽ sử dụng với ứng dụng của mình hoặc với ứng dụng web.
‫Thay vào đó, họ xây dựng các hệ thống đằng sau hậu trường để nhập, thu thập, chạy, ETL, các công việc, đó là
‫trích xuất, chuyển đổi, tải dữ liệu.
‫Vì vậy, Hadoop, là lớp lưu trữ hậu trường lưu trữ lượng lớn dữ liệu đang chạy xử lý hàng loạt dựa trên dữ liệu này
‫để chúng ta có thể có một số thông tin hữu ích.
‫Và Hadoop vẫn rất phổ biến và rất có khả năng khi nói đến dữ liệu lớn, hàng petabyte dữ liệu.
‫Hãy cùng tìm hiểu thêm một vài công cụ trong video tiếp theo.