‫Hãy kết thúc tổng quan cấp cao này về những gì một kỹ sư dữ liệu làm bằng cách mô tả ba nhiệm vụ chính mà
‫họ làm.
‫Một là họ xây dựng cái mà chúng tôi gọi là đường ống ETL.
‫Hoặc một đường ống tải chuyển đổi trích xuất.
‫Vì vậy, không giống như nhập dữ liệu, chỉ có nghĩa là di chuyển dữ liệu từ nơi này sang nơi khác.
‫Và đường ống ETL là ý tưởng mà một kỹ sư dữ liệu trích xuất dữ liệu đã được tạo ra bởi tất cả các hệ
‫thống này.
‫Họ trích xuất dữ liệu đó và sau đó khi trích xuất dữ liệu đó, họ sẽ biến đổi.
‫Dữ liệu ở dạng hữu ích là dạng có thể được tải vào kho dữ liệu.
‫Vì vậy, họ trích xuất dữ liệu.
‫Chúng biến đổi dữ liệu.
‫Và họ tải nó vào một thứ giống như kho dữ liệu để phần còn lại của công ty có thể sử dụng dữ
‫liệu.
‫Và họ sử dụng các ngôn ngữ lập trình như Python, Go Scala và Java để thực hiện các công việc ETL này hoặc trích xuất
‫tải chuyển đổi.
‫Vì vậy, đó là nhiệm vụ đầu tiên.
‫Cái thứ hai là gì?
‫Cái thứ hai là xây dựng các công cụ phân tích.
‫Bạn xem cho chúng tôi để hiểu hệ thống công ty chúng tôi hoạt động như thế nào.
‫Một kỹ sư dữ liệu cần đảm bảo rằng khi bất kỳ phần nào của hệ thống bị hỏng, chúng tôi sẽ được thông báo.
‫Vì vậy, một kỹ sư dữ liệu cho phép các nhà khoa học dữ liệu, nhà phân tích dữ liệu, những người kinh doanh thông
‫minh sử dụng các công cụ để phân tích dữ liệu, nhưng cũng để đảm bảo rằng hệ thống mà họ đã đặt đang chạy chính xác.
‫Cuối cùng, nhiệm vụ chính thứ ba của họ rõ ràng là duy trì kho dữ liệu và các hồ dữ liệu.
‫Điều đó đảm bảo rằng mọi thứ trong đó đều có thể truy cập được cho các bộ phận khác của công ty sử dụng.
‫Vì vậy, bây giờ chúng ta đã có cái nhìn tổng quan cấp cao về những gì một kỹ sư dữ liệu làm.
‫Tôi muốn nói về một số công cụ mà bạn chắc chắn đã nghe nói
‫đến trong ngành, những thứ như Hadoop, Kafka, Apache, Spark, tất cả những thuật ngữ này thực sự khó hiểu.
‫Tôi sẽ cố gắng cung cấp cho bạn cái nhìn tổng quan về cảnh quan này để lần sau khi ai đó hỏi bạn, Này, chúng ta
‫có nên sử dụng Hadoop không?
‫Này, Hadoop để làm gì?
‫Chúng ta có cần Kafka không?
‫Bạn sẽ có thể trả lời điều đó.
‫Và sau khóa học này, bạn có thể tự bắt đầu và thực sự học cách sử dụng những công cụ này nếu chúng bắt gặp
‫trong công việc của bạn.
‫Bây giờ, cảnh quan này đang thay đổi nhanh chóng.
‫Có các công cụ mới xuất hiện ở bên trái, bên phải và trung tâm.
‫Vì vậy, lời khuyên của tôi dành cho bạn là những gì tôi sẽ cho bạn thấy trong một vài video tiếp theo mà bạn
‫không coi đó là điều tuyệt đối phải biết đối với tất cả các kỹ sư dữ liệu.
‫Thay vào đó, hãy biết rằng chúng tồn tại.
‫Đi và đọc một số tài liệu của họ, một số thông tin trực tuyến, nhưng chỉ tìm hiểu hoặc sử
‫dụng chúng khi có nhu cầu vì chúng liên tục được cập nhật.
‫Và thế giới của kỹ thuật dữ liệu đang thực sự có nhịp độ rất nhanh.
‫Nhưng với những gì đã nói, chúng ta hãy tìm hiểu dữ liệu trong một vài video tiếp theo.