‫Này, là Andre đây với một mẹo nhỏ dành cho bạn.
‫Bây giờ, trong một vài video tiếp theo, Daniel sẽ cho bạn thấy quy trình công việc học máy của anh ấy.
‫Và một trong những điều mà anh ấy sẽ làm là làm sạch dữ liệu, biến đổi nó và thực hiện mọi
‫thao tác đối với nó.
‫Bây giờ, tôi muốn chúng ta có một cái nhìn cấp cao ngay bây giờ, bởi vì khi chúng ta làm việc với Máy tính xách tay Jupyter,
‫nó có thể thực sự khó hiểu.
‫Có vẻ như chúng ta đang thực hiện một loạt các bước mà không hiểu lý do tại sao.
‫Nhưng tôi muốn lùi lại một bước ở đây và hiểu tại sao chúng tôi làm những việc mà chúng tôi sẽ làm trong vài video
‫tiếp theo mà bạn xem với tư cách là một nhà khoa học dữ liệu.
‫Nhiều dữ liệu hơn không nhất thiết có nghĩa là nó luôn tốt.
‫Ý tôi là, vâng, nói chung chúng ta càng có nhiều dữ liệu thì chúng ta càng phải làm việc với nhiều dữ liệu hơn.
‫Nhưng vào cuối ngày, chúng ta có thể có những dữ liệu hoàn toàn vô dụng.
‫Chúng tôi chỉ muốn có dữ liệu hữu ích để chúng tôi có thể nhận được kết quả thực, các bước hành động thực sự mà chúng tôi có thể thực hiện.
‫Và những gì chúng ta sẽ thấy Danielle làm là thực hiện bước này trước khi chúng tôi tạo ra mô hình học máy của mình.
‫Bạn thấy đấy, chúng tôi muốn chạy bước này.
‫Làm sạch dữ liệu, chuyển đổi dữ liệu và giảm dữ liệu.
‫Vì vậy, chúng ta hãy nói về điều đó.
‫Tại sao chúng ta cần làm sạch dữ liệu?
‫Chúng tôi muốn xóa và thay thế dữ liệu.
‫Bởi vì đôi khi dữ liệu bị thiếu, phải không?
‫Chúng ta có thể có các bảng bị thiếu giá trị, thiếu nhãn.
‫Điều đó sẽ không giúp ích cho chúng tôi và nó sẽ không cho phép chúng tôi xây dựng mô hình học máy phù hợp.
‫Vì vậy, chúng tôi thường xóa một hàng hoặc một cột trống hoặc có các trường bị thiếu hoặc chúng tôi có thể tính toán một số loại
‫trung bình.
‫Nếu chúng tôi đang làm, giá nhà sẽ lấp đầy một bảng giá trống có thể là một ngôi nhà trung bình.
‫Bạn thậm chí có thể nhận thấy một số ngoại lệ trong dữ liệu của mình và chỉ cần loại bỏ chúng.
‫Tiếp theo là chuyển đổi dữ liệu.
‫Bạn thấy đấy, máy tính không thực sự hiểu các khái niệm, phải không?
‫Hầu hết thời gian, máy tính chỉ hiểu các số một và số không.
‫Thực sự chỉ là những con số để chúng ta dạy máy tính.
‫Hầu hết thời gian, chúng ta muốn chuyển đổi dữ liệu của mình thành một dạng nào đó mà máy tính có thể hiểu được.
‫Vì vậy, những gì chúng ta sẽ thấy là Daniel thực sự chuyển đổi một số thông tin của chúng ta thành các con số.
‫Bạn có thể có những thứ như giá của một ngôi nhà hoặc tiền lương là những con số và chúng tôi dễ dàng tạo ra
‫các mô hình vì máy tính hiểu các con số khá dễ dàng.
‫Nhưng có thể rất khó để biết màu sắc là gì.
‫Màu xanh lá cây là gì?
‫Màu xanh lam là gì?
‫Máy tính không hiểu điều đó.
‫Thay vào đó, chúng tôi chuyển đổi màu sắc thành các số như màu gbps của chúng tôi để máy tính hiểu được.
‫Một cách tốt để chúng tôi chuyển đổi dữ liệu thường là giữa các số không và những số chẳng hạn như Bạn có bị bệnh
‫tim hay bạn không biết?
‫Bệnh tim bằng không.
‫Bệnh tim là một.
‫Chúng tôi phải đảm bảo rằng dữ liệu trên bảng sử dụng cùng một đơn vị.
‫Có thể một dữ liệu sử dụng mét, một dữ liệu khác sử dụng thước.
‫Ý tưởng chuyển đổi dữ liệu thành một dạng hữu ích này thực sự rất khó và nó chỉ đi kèm với thực
‫tế.
‫Nhưng bạn sẽ thấy Daniel cách anh ấy biến đổi dữ liệu để nó ngày càng khả thi hơn.
‫Vì vậy, một khi chúng tôi đã làm sạch dữ liệu, một khi chúng tôi đã chuyển đổi dữ liệu, tiếp theo là giảm dữ liệu của chúng tôi.
‫Tại sao giảm dữ liệu của chúng tôi?
‫Chúng ta không muốn càng nhiều dữ liệu càng tốt?
‫Về lý thuyết, có.
‫Nhưng hãy nhớ rằng, mọi thứ đều phải trả giá bằng tiền.
‫Chúng ta càng có nhiều dữ liệu, càng nhiều CPU, thì càng tốn nhiều năng lượng để chúng ta chạy tính toán của mình.
‫Vì vậy, nếu chúng tôi có thể nhận được kết quả tương tự với ít dữ liệu hơn, điều đó thực sự giúp chúng tôi tiết kiệm tiền.
‫Nó giúp tiết kiệm tiền cho các công ty, đặc biệt là các công ty lớn như Google có nhiều dữ liệu
‫và chạy nhiều CPU.
‫Đôi khi ý tưởng giảm dữ liệu cũng có thể được gọi là giảm kích thước.
‫Hoặc giảm cột.
‫Bạn có thể có nhiều cột trên bảng của mình, nhưng nó làm cho mọi thứ thực sự, rất chậm.
‫Vì vậy, bạn thực sự có thể xóa một số cột mà có thể bạn thấy không liên quan và sẽ không cần thiết cho mô hình
‫học máy của bạn.
‫Một lần nữa, đây là những điều mà Daniel sẽ phải trải qua, nhưng tôi muốn bạn ghi nhớ điều này, ý tưởng rằng
‫với tư cách là một nhà khoa học dữ liệu, bạn không thể chỉ cho rằng tất cả dữ liệu bạn có đều tự động trở nên
‫hoàn hảo.
‫Bạn phải làm sạch nó.
‫Bạn phải biến đổi nó.
‫Bạn phải giảm nó.
‫Ý tưởng xoay quanh dữ liệu, di chuyển xung quanh dữ liệu thành một dạng hữu ích cho bạn là một phần của kỹ
‫năng.
‫Vì vậy, hãy xem Daniel làm điều đó và học hỏi trong suốt quá trình.
‫Hẹn gặp lại các bạn trong phần tiếp theo.
‫- Tạm biệt.