‫Chào mừng trở lại.
‫Vì vậy, chúng tôi vừa xem qua toàn bộ quy trình này về cách dữ liệu được sử dụng bởi một công ty.
‫Nhưng tôi muốn nói thêm một vài điều nữa, bởi vì ngay bây giờ chúng ta vừa nói về nước và điều
‫này thực sự áp dụng như thế nào?
‫Các kỹ sư dữ liệu thực sự sử dụng loại công cụ nào?
‫Vâng, bạn có thể đã nghe nói về một cái gì đó như thế này.
‫Kafka và chúng ta sẽ đến Kafka sau.
‫Nhưng một cái gì đó giống như thu thập các luồng dữ liệu này và đưa chúng vào một hồ dữ liệu.
‫Ví dụ, có thể là một cái gì đó mà Kafka hoặc Apache Kafka có thể làm cho các hồ dữ liệu.
‫Đây chỉ đơn giản là các chương trình mà các công ty có thể sử dụng.
‫Ví dụ: bạn có thể đã nghe nói về Hadoop hoặc Amazon S3 hoặc Azure Data Lake.
‫Đây là những chương trình đã được các kỹ sư xây dựng để chứa một lượng lớn dữ liệu, giống như một sự cố rò rỉ dữ liệu.
‫Và sau đó đối với kho dữ liệu của chúng tôi, chúng tôi có các công cụ như Google, BigQuery, Amazon, Redshift, thậm chí
‫Amazon, Athena.
‫Đây là những kho dữ liệu cho phép các kỹ sư thực hiện các truy vấn hoặc phân tích dữ liệu có cấu trúc này.
‫Bây giờ tôi biết bạn đang nghĩ gì.
‫Ai làm gì trong toàn bộ hệ thống này?
‫Chúng tôi được biết rằng kỹ sư dữ liệu tạo ra toàn bộ hệ thống này cho chúng tôi.
‫Họ sử dụng các công cụ và chương trình khác nhau để nhập dữ liệu và sau đó đưa nó vào hồ dữ liệu hoặc kho dữ liệu.
‫Vì vậy, với tư cách là một nhà khoa học dữ liệu và một chuyên gia học máy.
‫Bạn sử dụng dữ liệu nào?
‫Tạm dừng video và suy nghĩ về nó.
‫Sẵn sàng cho câu trả lời.
‫Chà, hầu hết thời gian, bạn sẽ làm việc với một hồ dữ liệu.
‫Vì hãy nhớ rằng, nếu bạn đang học máy, bạn càng có nhiều dữ liệu thì càng tốt, đúng không?
‫Và với học máy, bạn có thể sử dụng dữ liệu có cấu trúc hoặc không có cấu trúc.
‫Vì vậy, bạn có thể đi vào hồ dữ liệu và thực sự lấy một loạt dữ liệu để sử dụng cho các mô hình của mình, cho dù chúng
‫ở dạng CSV hay bất kỳ dạng nào khác.
‫Và thông thường kho dữ liệu được sử dụng bởi trẻ sơ sinh hoặc những người thông minh kinh doanh hoặc nhà phân tích kinh doanh hoặc nhà phân
‫tích dữ liệu để thực hiện trực quan hóa hoặc phân tích dữ liệu.
‫Bởi vì kho dữ liệu thường có nhiều dữ liệu có cấu trúc đã được làm sạch hơn so với khi nó bị rò
‫rỉ dữ liệu.
‫Việc hiểu và sử dụng dữ liệu để lấy thông tin sẽ dễ dàng hơn rất nhiều.
‫Bây giờ, với tư cách là một nhà khoa học dữ liệu, bạn có thể sử dụng dữ liệu từ một kho dữ liệu.
‫Và đây không chỉ là một quy tắc, nó thường là bạn sử dụng bất kỳ dữ liệu nào có thể sử dụng được cho bạn.
‫Nhưng đây là một cách hay để nghĩ về những thứ mà một nhà khoa học dữ liệu sử dụng nhiều dữ liệu nhất có thể, nhiều
‫dữ liệu hữu ích nhất có thể.
‫Trong khi một số người như một nhà kinh doanh thông minh hoặc một nhà phân tích dữ liệu đã làm sạch dữ liệu bởi một kỹ sư
‫dữ liệu và sử dụng một thứ gì đó giống như một kho dữ liệu để phân tích dữ liệu.
‫Và truy vấn lớn của Google chính xác là như vậy.
‫Nó cho phép ai đó không có quá nhiều kinh nghiệm kỹ thuật hoặc kinh nghiệm lập trình phân
‫tích dữ liệu này trong kho dữ liệu.
‫Một cách khác để nghĩ về nó như thế này thường là kỹ sư phần mềm, nhà phát triển phần mềm, nhà phát triển ứng
‫dụng, nhà phát triển thiết bị di động, họ xây dựng các chương trình và ứng dụng mà người dùng và khách hàng sử dụng và phát hành dữ
‫liệu.
‫Sau đó, một kỹ sư dữ liệu sẽ xây dựng đường ống và đường dẫn này để chúng tôi nhập dữ liệu và lưu trữ dữ liệu đó trong các dịch
‫vụ khác nhau như Hadoop, như Google, BigQuery, để phần còn lại của doanh nghiệp có thể truy cập dữ liệu
‫đó.
‫Tiếp theo, chúng tôi có các nhà khoa học dữ liệu sử dụng hồ dữ liệu, cũng như các nhà khoa học dữ liệu để trích xuất thông tin và cung
‫cấp một số loại giá trị kinh doanh.
‫Cuối cùng, chúng tôi có các nhà phân tích dữ liệu hoặc trí tuệ kinh doanh để sử dụng một thứ gì đó như kho dữ liệu hoặc dữ
‫liệu có cấu trúc để lấy lại giá trị kinh doanh.
‫Và tôi hy vọng rằng điều đó sẽ rõ ràng hơn một chút khi bạn nghe thấy tất cả những danh hiệu này trong ngành.
‫Hiện nay, ngành công nghiệp này đang phát triển nhanh chóng và chắc chắn có một số chồng chéo.
‫Và đôi khi những gì một mô tả công việc có thể nói khác với mô tả công việc khác.
‫Tuy nhiên, đây là những quy tắc chung, đơn giản hóa mà bạn có thể sử dụng để hiểu vai trò của từng bộ
‫phận trong công ty.