‫Được chứ.
‫Vì vậy, những gì một kỹ sư dữ liệu thực sự làm?
‫Hãy bắt đầu với ba từ lớn mà chúng ta cần hiểu trước khi chúng ta thực sự hiểu những gì một kỹ
‫sư dữ liệu làm.
‫Vâng tôi biết.
‫Tôi tiếp tục xoay quanh kỹ sư dữ liệu và tôi khiến bạn thấy phấn khích, nhưng tôi hứa rằng chúng ta đang
‫tiến rất gần.
‫Chúng ta chỉ cần thảo luận về ba từ này mà bạn có thể đã hoặc chưa nghe nói đến.
‫Một là khai thác dữ liệu và khai thác dữ liệu đơn giản có nghĩa là xử lý trước và trích xuất một số kiến thức từ
‫dữ liệu.
‫Vì vậy, chúng tôi sử dụng một số loại dữ liệu để trích xuất kiến thức.
‫Khai thác dữ liệu là như vậy.
‫Dữ liệu lớn?
‫Điều đó có nghĩa là chúng ta có rất nhiều dữ liệu, rất nhiều biến, rất nhiều dữ liệu, trên thực tế, bạn
‫không thể chạy trên máy tính xách tay của mình.
‫Có quá nhiều dữ liệu cho máy tính xách tay hoặc máy tính của bạn.
‫Thông thường khi chúng ta nói về dữ liệu lớn, đó là dữ liệu lớn đến mức bạn cần phải chạy nó
‫trên điện toán đám mây hoặc nhiều máy tính như AWS Azure và Google Cloud vì chúng có rất nhiều máy tính và nhiều dung lượng để
‫lưu trữ dữ liệu này .
‫Vì vậy, đó là lý do tại sao dữ liệu lớn là dữ liệu lớn là dữ liệu mà bạn thường không thể có chỉ trên một máy tính.
‫Điều này thường xảy ra vì tập dữ liệu quá lớn.
‫Bây giờ chúng ta có petabyte và petabyte dữ liệu.
‫Vì vậy, việc chỉ có dữ liệu trong một cơ sở dữ liệu như MySQL hoặc cỏ đăng hoặc bất kỳ loại cơ sở dữ liệu nào trở nên thực sự khó khăn khi cơ sở
‫dữ liệu đó chỉ là một máy duy nhất.
‫Bây giờ, các công nghệ mới đã được phát minh để giải quyết vấn đề dữ liệu lớn này như Hadoop và NoSQL, mà chúng ta sẽ
‫nói đến.
‫Bây giờ một đường ống dữ liệu về cơ bản là một đường ống mà một kỹ sư dữ liệu xây dựng để sử dụng thực tế là chúng ta có lượng dữ
‫liệu lớn này, chúng ta cần trích xuất thông tin từ dữ liệu này bằng cách sử dụng khai thác dữ liệu.
‫Vì vậy, chúng tôi cần mang hoặc xây dựng một đường ống cho phép chúng ta chuyển từ lượng lớn dữ liệu chưa biết
‫đó sang một đường ống trích xuất dữ liệu sang một dạng hữu ích hơn.
‫Vì vậy, một kỹ sư dữ liệu về cơ bản thực hiện điều này tạo ra một đường dẫn dữ liệu nơi tất cả thông tin mà các
‫thiết bị khác nhau như thiết bị Iot, ứng dụng di động, ứng dụng web, máy ảnh, ô tô và hầu hết mọi thứ thu thập
‫dữ liệu và lưu trữ thông tin hoặc ghi dữ liệu vào máy chủ hoặc lên đám mây .
‫Một kỹ sư dữ liệu về cơ bản tích lũy tất cả thông tin này vào cơ sở dữ liệu và công cụ lưu trữ được đóng gói độc đáo để các bộ phận
‫khác nhau của công ty có thể tạo hình ảnh trực quan, họ có thể theo dõi hiệu suất của sản phẩm, họ có thể nhận được thông tin
‫chi tiết về doanh nghiệp và đưa ra quyết định kinh doanh từ dữ liệu này và thậm chí sử dụng dữ liệu
‫này trên ứng dụng của họ.
‫Ví dụ: đối với hồ sơ người dùng trước khi một nhà khoa học dữ liệu hoặc một chuyên gia học máy hoặc thậm chí một
‫nhà phân tích dữ liệu hoặc trí tuệ kinh doanh được thuê cho một công ty lớn.
‫Điều mà họ cần làm trước khi tất cả những điều đó có thể được thực hiện là thuê một kỹ sư dữ liệu.
‫Họ xây dựng đường ống cho phép chúng tôi làm việc với tư cách là nhà khoa học dữ liệu.
‫Hãy nhớ sơ đồ này và cách chúng tôi đã tập trung vào phần này.
‫Vâng, một kỹ sư dữ liệu cho phép chúng tôi thực hiện phần thu thập dữ liệu này.
‫Họ cung cấp tất cả thông tin này, sắp xếp nó theo cách để chúng tôi thực hiện mô hình hóa dữ liệu của mình.
‫Họ thực sự giúp chúng tôi trong phần thu thập dữ liệu này mà thông thường với tư cách là một kỹ sư học máy hoặc nhà khoa học
‫dữ liệu, bạn không cần phải lo lắng quá nhiều.
‫Nhưng bạn biết không?
‫Phần minh họa yêu thích của tôi về kỹ sư dữ liệu là gì trong video tiếp theo.
‫Tôi hy vọng bạn vui mừng vì mọi thứ sẽ bắt đầu ngày càng có ý nghĩa hơn.
‫Tôi sẽ gặp bạn trên đó.
‫Tạm biệt.