‫Được rồi, chúng ta hãy điền vào một số giá trị còn thiếu đó, phải không?
‫Vì vậy, chúng tôi sẽ thực hiện một tiêu đề nhỏ ở đây cho tất cả các giá trị bị thiếu.
‫Xinh đẹp.
‫Và chúng tôi có một vài giá trị còn thiếu ở đây.
‫Vì vậy, những gì chúng tôi có thể làm, tôi nghĩ chúng tôi sẽ thực hiện các giá trị bị thiếu bằng số trước tiên.
‫Vì vậy, chúng ta hãy đặt nó ở đây.
‫Vì vậy, một tiêu đề nhỏ khác và chúng ta sẽ đi, Ồ, hãy thay đổi điều này thành số hai, chỉ vì
‫tôi thích tính thẩm mỹ và chúng ta sẽ điền các giá trị số còn thiếu trước tiên.
‫Tuyệt vời.
‫Bây giờ làm cách nào để kiểm tra xem cột nào là số và cột nào không phải là số?
‫Vì vậy, những gì chúng tôi có thể làm.
‫Hãy nhớ là loại ngày chuỗi.
‫Chúng tôi đã làm điều đó trước đây.
‫Chúng tôi đã lặp qua khung dữ liệu của mình ngay tại đây.
‫Chúng tôi có thể nhấn shift vào đó.
‫No ở đâu?
‫Chuỗi D-type cũng vậy.
‫Vì vậy, có một cái khác, như bạn có thể đoán.
‫Ngoài ra còn có kiểu dữ liệu số.
‫Có lên đây không?
‫Không.
‫Có thể ở đây nếu chúng ta đi.
‫Đây là số.
‫Chúng ta bắt đầu.
‫Kiểm tra xem mảng hoặc kiểu d được cung cấp có phải là kiểu số d lần hay không vì chúng ta muốn điền dữ liệu số.
‫Chúng tôi muốn tìm hiểu những cột nào là số.
‫Hãy lặp lại bốn nội dung nhãn trong mục mẫu.
‫Vì vậy, chúng ta sẽ lặp qua các tên cột cũng như những gì mỗi cột chứa.
‫Và chúng ta sẽ xem các loại dấu chấm API.
‫DOT là dữ liệu số.
‫Điều đó có ý nghĩa?
‫Những gì chúng ta cần đưa vào đây, nếu nội dung có.
‫Nếu nội dung trong cột là số, chúng ta muốn in nhãn ra.
‫Vì vậy, đó sẽ là tên của cột.
‫Tuyệt vời.
‫Vì vậy, chúng ta hãy kiểm tra một trong số này.
‫Chúng tôi đã tạo những cái này ở đây để chúng tôi biết rằng chúng là số.
‫Nhưng chúng ta hãy kiểm tra chỉ cho mô hình vui nhộn I. D.
‫Tuyệt vời.
‫Vì vậy, anh ấy sẽ trở thành hình mẫu tôi. D. hoặc thực sự chúng tôi có thể kiểm tra đó là gì.
‫ID mô hình xác định cho mô tả mô hình EFI kiểu máy duy nhất của bạn.
‫Xinh đẹp.
‫Được rồi, đây là các kiểu số của chúng ta.
‫Và bây giờ những gì chúng tôi có thể làm là tìm ra những cái nào trong số này có
‫giá trị bị thiếu khi tập trung nhiều hơn vào một lúc, chúng tôi muốn điền vào các cột số bị thiếu bằng một số loại kiểm tra giá trị cho
‫những cột số nào có giá trị rỗng.
‫Bây giờ, chúng ta có thể làm điều này như thế nào?
‫Trước hết, hãy bắt đầu với bốn nội dung nhãn.
‫Chúng tôi sẽ chỉ viết chính xác những gì chúng tôi đã làm trước các mục tạm thời DF và bây giờ chúng tôi muốn tiếp tục.
‫Nếu loại API PDB thì DOT là số.
‫Tôi đã cố gắng làm tab, nhưng nó có quá nhiều tùy chọn.
‫Là nội dung kiểu số.
‫Tuyệt vời.
‫Và sau đó những gì chúng ta có thể cần làm là kiểm tra xem có một tính năng hoặc một chức năng trong gấu trúc được gọi là null hay không.
‫Vì vậy, nếu chúng ta đi PD là null.
‫Gấu trúc là không.
‫Chúng ta bắt đầu.
‫Vì vậy, điều này phát hiện các giá trị bị thiếu cho một mảng như đối tượng.
‫Vì vậy, chúng ta có thể làm điều này bởi pandas is null content.
‫Đó là những gì chúng tôi muốn.
‫Vì vậy, chúng tôi đang thực hiện một câu lệnh if khác ở đây.
‫Vì vậy, PD là null.
‫Vì vậy, điều này sẽ diễn ra.
‫Có giá trị null trong nội dung hay còn gọi là cột trong toàn bộ cột không?
‫Có giá trị null không?
‫Nhưng chúng ta cần đảm bảo rằng đây là tổng số tổng.
‫Vì vậy, nếu có bất kỳ giá trị null nào.
‫Vì vậy, nếu giá trị này cao hơn 0, chúng tôi muốn in nhãn.
‫Điều này sẽ cho chúng tôi biết cột nào không có giá trị.
‫Được rồi.
‫Bây giờ chúng ta đã biết cột nào là cột số nào không có giá trị, chúng ta có thể làm được.
‫Điền vào chúng với một cái gì đó.
‫Vì vậy, những gì chúng ta có thể làm là điền vào các hàng số với giá trị trung bình.
‫Hừ!
‫Vì vậy, làm thế nào về chúng tôi làm điều đó?
‫Chúng ta chỉ có thể lấy cái này.
‫Chúng tôi sẽ sao chép điều này ở đây.
‫Được rồi, chúng ta sẽ điền vào các hàng số nếu là giá trị trung bình.
‫Tuyệt vời.
‫Nhưng có một điều khác mà chúng tôi phải thực sự làm và đi đến đây.
‫Chà, bạn không cần phải làm, nhưng dù sao thì chúng ta cũng sẽ làm.
‫Và tôi sẽ viết nó ra trước, vì chúng tôi sẽ thêm một cột nhị phân cho chúng tôi biết dữ liệu có bị
‫thiếu hay không, nhận xét đó hơi dài, nhưng điều đó không quan trọng.
‫Bạn nghĩ tại sao chúng tôi có thể làm điều này?
‫Tôi sẽ chỉ để cho bạn suy nghĩ về nó trong khi chúng tôi làm điều đó và chúng tôi sẽ đi đến đây là không có bằng.
‫PD bây giờ là nội dung.
‫Tuyệt vời.
‫Và sau đó những gì chúng ta sẽ làm ở đây là điền các giá trị số còn thiếu với nhãn tạm thời DF trung bình bằng nội
‫dung.
‫Họ sẽ điền vào một phương tiện chấm nội dung.
‫Ai?
‫Chúng tôi chỉ xây dựng dựa trên những gì chúng tôi đã làm trước đây, nhưng chúng tôi đã thêm hai bước mới vào đây trước khi chúng tôi nhấn shift và
‫nhập.
‫Về điều này, chúng tôi đang đi ngược lại quy tắc của mình.
‫Nếu F và chạy nhanh hơn mã, tôi muốn bạn chỉ nghĩ tại sao chúng ta có thể đặt cột này ở đây.
‫Bạn có thể hỏi chúng tôi, tại sao chúng tôi lại lấp đầy dải phân cách?
‫Tại sao không phải là chính?
‫Chà, lý do tại sao chúng tôi thêm cột này ở đây là bởi vì nếu chúng tôi chỉ điền tất cả
‫dữ liệu bị thiếu của mình bằng giá trị trung bình, thì có thể có lý do cho việc thiếu giá trị đó ở đó.
‫Chúng tôi đang giữ thông tin đó.
‫Thực tế là biến đó bị thiếu bằng cách thêm một cột, đúng hay sai nếu nó bị thiếu hoặc
‫không.
‫Vì vậy, điều đó có nghĩa là nếu chúng tôi tìm thấy một hàng có giá trị ID người đấu giá bị thiếu và sau đó
‫chúng tôi điền nó vào giá trị trung bình của cột ý tưởng đấu giá, sẽ có một cột ở cuối khung dữ liệu
‫của chúng tôi cho biết đúng, về cơ bản là 0 hoặc một, cho chúng tôi biết rằng, này, chúng tôi đã điền
‫vào hàng ID đấu giá viên này, nhưng ban đầu hàng đó hoặc hàng này bị thiếu giá trị này.
‫Chúng tôi đang lưu giữ dữ liệu đó.
‫Chúng tôi đang lưu giữ thông tin đó rằng thực tế là mẫu cụ thể đó bị thiếu ID đấu giá
‫viên trong tập dữ liệu.
‫Vì vậy, chúng tôi đang lưu giữ thông tin đó ở đó, nhưng sau đó chúng tôi lấp đầy nó với trung vị.
‫Và bạn có thể hỏi tại sao lại có dải phân cách, phải không?
‫Tại sao không phải là trung bình?
‫Chà, điều ở đây, lý do là vì trung vị mạnh hơn trung bình.
‫Và bạn có thể tự hỏi, ý bạn là gì mà trung bình mạnh hơn trung bình?
‫Vấn đề là, khi bạn sử dụng giá trị trung bình, khi chúng ta có rất nhiều giá trị khác nhau, vì vậy chúng ta có
‫412.000 giá trị, giá trị chính của rất nhiều giá trị khác nhau có thể rất nhạy cảm với các giá trị ngoại lai.
‫Vì vậy, hãy để tôi chứng minh nó bằng một loại ví dụ sơ bộ.
‫Vì vậy, hãy chứng minh trung bình mạnh mẽ hơn chính như thế nào.
‫Và chúng tôi vừa chạy ô này.
‫Vì vậy, chúng tôi sẽ kiểm tra những gì đã xảy ra với điều đó trong một giây.
‫Và tôi chỉ muốn cung cấp cho bạn một ví dụ về lý do tại sao chúng ta có thể sử dụng trung vị.
‫Bạn có thể đang tìm kiếm điều này, hãy sử dụng trung vị thay vì chính.
‫Đó có thể là một số loại phần mở rộng.
‫Bạn có thể thực hiện một số nghiên cứu ở đó nhưng chúng tôi đến đây và đi hàng chục bằng NP giảm.
‫Điều này sẽ làm gì.
‫Chúng tôi đang tạo một mảng dài một nghìn với giá trị là 100.
‫Vì vậy, giả sử có 1000 người.
‫Tại sao chúng tôi gọi nó là hàng chục?
‫Vì vậy, 100.
‫Hàng trăm.
‫Có một nghìn người, mỗi người có 100 đô la, và sau đó chúng ta sẽ kiếm một người với hàng trăm và một tỷ.
‫Giả sử trong số hàng nghìn người đó, Bill Gates vừa bước vào và ông ấy có 1.000.000.000 USD trong
‫túi.
‫Vì vậy, chúng tôi sẽ không đi hàng chục.
‫Chúng tôi muốn hàng trăm.
‫Vì vậy, có một nghìn người với 100 đô la.
‫Nhưng bây giờ Bill Gates đã bước vào và ông ấy có một tỷ.
‫Đó là chín số không.
‫Trời ơi.
‫Đó là rất nhiều số không.
‫Một hai ba.
‫Tốt lắm.
‫Được chứ.
‫Vì vậy, những gì chúng ta sẽ làm ở đây là tăng hàng trăm chính và sau đó chúng ta sẽ làm trống hàng trăm tỷ chính
‫và sau đó chúng ta sẽ nhận được hàng trăm trung bình trống và sau đó chúng ta sẽ tăng trung bình hàng trăm tỷ.
‫Vì vậy, tất cả những gì chúng tôi đang làm là chúng tôi đang lấy giá trị trung bình và giá trị trung bình của từng thứ này và giá trị trung bình.
‫Trung vị của mỗi.
‫Và chúng ta hãy xem.
‫Ái chà.
‫Vì vậy, hãy xem những gì tôi có nghĩa là?
‫Ở đây trong mảng của chúng tôi?
‫Hàng trăm.
‫Chúng ta hãy nhìn vào nó.
‫Đây chỉ là một nghìn ví dụ về con số 100.
‫Chính là 100.
‫Điều đó có ý nghĩa.
‫Và trung vị cũng là 100.
‫Nhưng khi chúng ta thêm 1 tỷ vào cuối cùng sẽ phải ở ngay đây ở đâu đó.
‫Hoặc có thể nó không.
‫Nó tính bằng hàng trăm tỷ.
‫Bây giờ, chúng ta đã có một ví dụ về một tỷ người đúng ở cuối.
‫Hãy xem điều đó ảnh hưởng đến ý nghĩa của chúng ta như thế nào.
‫Và bây giờ đây là một ví dụ cực đoan, phải không?
‫Chúng tôi đang sử dụng một tỷ so với 100.
‫Vì vậy, chúng tôi có một vài đơn đặt hàng lớn ở đây.
‫Hãy xem nó khác với dải phân cách như thế nào.
‫Ở dạng tinh khiết nhất của nó.
‫Đây là lý do tại sao chúng tôi đang sử dụng trung vị.
‫Và vì vậy, bạn có thể bắt gặp điều đó trong nghiên cứu của mình về lý do tại sao sử dụng phương tiện truyền thông là chính.
‫Nhưng lý do chính là vì đường trung bình mạnh mẽ hơn so với các trường hợp ngoại lệ.
‫Nhưng với điều đó đang được che đậy, hãy xem những gì chúng tôi vừa làm.
‫Chúng ta đã làm gì với cái này?
‫Vì vậy, để tìm ra điều đó, những gì chúng ta có thể làm bây giờ là kiểm tra xem có bất kỳ giá trị số nào không.
‫Và chúng ta đã làm điều đó như thế nào trước đây?
‫Chà, chúng tôi đã làm đầy đủ nội dung nhãn và các mục mẫu DF, và đó là những gì chúng tôi đang theo đuổi.
‫Nếu chấm PD, chấm AP đúng giờ, tức là tôi đang vượt lên chính mình ở đây.
‫Nội dung kiểu số D.
‫Tuyệt vời.
‫Nếu PD là nội dung rỗng, một số nhãn in.
‫Vì vậy, điều này sẽ cho chúng tôi biết nếu vẫn còn bất kỳ giá trị số hoặc cột số nào có giá trị null trong
‫đó.
‫Nó sẽ in ra các tên cột đó.
‫Và nó không in ra gì cả.
‫Lý do là vì chúng tôi chỉ điền nội dung.
‫Những cái bị thiếu với dải phân cách là.
‫Bây giờ, hãy kiểm tra xem cột nhị phân của chúng ta đã làm gì.
‫Được chứ.
‫Kiểm tra để xem.
‫Vì vậy, nếu điều này hiệu quả, chúng ta nên có.
‫Hãy lên đây.
‫Chúng tôi đang thiếu bao nhiêu giá trị ID người đấu giá?
‫Chúng ta có thể tìm ra điều đó không?
‫Từ cái trước của chúng tôi.
‫ID AUCTIONEER.
‫Được rồi, vì vậy chúng ta nên có.
‫Thực tế là chúng tôi đã điền sai phải là tổng số hàng trừ đi số này.
‫Vì vậy, giá trị true phải là giá trị này của cột nhị phân của chúng ta.
‫Đúng?
‫Bởi vì nó không bị thiếu.
‫Vì vậy, chúng ta hãy đi đến đây.
‫Ôi không.
‫ĐÚNG VẬY.
‫Nên là con số này.
‫Bởi vì đó là bao nhiêu giá trị còn thiếu mà họ đã thấy ở đó.
‫Vì vậy, những gì chúng tôi đã làm ở đây trước đây, chúng tôi lấp đầy các giá trị của mình, chúng tôi đã kiểm tra để tìm ra và thiếu các
‫giá trị ở đó.
‫Vì vậy, cột nhị phân của chúng tôi phải đúng với 20.136 ví dụ, bởi vì đó là số lượng ví dụ mà chúng tôi đã điền.
‫Vì vậy, chúng ta hãy kiểm tra điều đó.
‫Vì vậy, hãy xác định dấu gạch dưới chấm tạm thời bởi vì chúng tôi đã tạo một người bán đấu giá cột.
‫ID bị thiếu.
‫Xem ở đây, chúng tôi có nhãn cộng bị thiếu.
‫Bây giờ điều này nên đúng và sai.
‫Xinh đẹp.
‫Điều đó có nghĩa là chúng tôi đã điền 20.136 giá trị vào cột ID người đấu giá.
‫Không có cột bị thiếu vì hãy nhớ rằng, chúng tôi chỉ thực hiện điều này với trung vị của cột ý tưởng đấu
‫giá ban đầu.
‫Ai?
‫Bây giờ điều đó đã khá đầy đủ, nhưng chúng tôi vẫn còn thiếu một số giá trị trong khung dữ liệu của mình.
‫Hãy kiểm tra xem chúng tôi có những gì khác?
‫Chúng tôi đã điền tất cả các giá trị bị thiếu bằng số, nhưng chúng tôi vẫn còn một số trong số này.
‫Hừ!
‫Chúng tôi vẫn có một vài công bằng.
‫Tất cả những cái này đều bằng không.
‫Chúng không có bất kỳ giá trị nào bị thiếu, vì vậy điều đó tốt.
‫Họ đã sẵn sàng sử dụng với mô hình học máy của chúng tôi, nhưng chúng tôi vẫn phải điền vào tất cả những
‫điều này trước khi có thể sử dụng dữ liệu của mình với mô hình học máy.
‫Vì vậy, hãy làm điều đó trong video tiếp theo.