‫Chào mừng trở lại.
‫Đó là trong một vài video cuối cùng, chúng tôi đã dành một chút công sức để đưa dữ liệu của mình sang định dạng có thể
‫truy cập được.
‫Bây giờ chúng tôi đã có điều đó.
‫Vì vậy, chúng ta hãy nhanh chóng xem xét.
‫Chúng tôi có các nhãn bắt nạt, đó là nhãn của chúng tôi ở định dạng số.
‫Chúng ta sẽ xem xét hai cái đầu tiên để nó không chiếm quá nhiều chỗ.
‫Chúng ta bắt đầu.
‫Đúng và sai.
‫Chúng tôi có thể truy cập chúng dưới dạng số không và số một thực sự dễ dàng.
‫Và điều tương tự cũng xảy ra đối với các đường dẫn tệp của chúng tôi.
‫Vì vậy, đây là những hình ảnh đào tạo của chúng tôi ở đây.
‫Và chúng tôi đã bỏ dở việc thảo luận về việc Kaggle không cung cấp cho chúng tôi bộ xác thực.
‫Vì vậy, tạo bộ xác nhận của riêng chúng tôi.
‫Và do đó, vì tập dữ liệu từ Kaggle không đến.
‫Với một tập hợp xác thực, chúng tôi sẽ tạo riêng của chúng tôi.
‫Và hãy nhớ rằng, từ cách trở lại trong Học máy 101, khái niệm quan trọng nhất trong học máy
‫là ba bộ.
‫Được rồi, bộ đào tạo, bộ xác thực và bộ kiểm tra.
‫Vì vậy, ngay bây giờ chúng tôi đã có bộ đào tạo và bộ kiểm tra, nhưng chúng tôi muốn bộ xác thực này là
‫a. k. một kỳ thi thực hành.
‫Vì vậy, để nhắc lại, chúng tôi sẽ đào tạo một mô hình học máy trên bộ đào tạo, chúng tôi sẽ đánh giá nó trên bộ xác thực để xem
‫liệu các thử nghiệm của chúng tôi mà chúng tôi đã thực hiện trên bộ đào tạo có diễn ra ổn không.
‫Và cuối cùng là bài thi cuối cùng là bộ đề thi của chúng ta.
‫Vì vậy, chúng tôi muốn tập hợp trung gian nhỏ này để xác thực thử nghiệm ban đầu của chúng tôi.
‫Vì vậy, đó là lý do tại sao chúng tôi sẽ thực hiện một bộ xác thực.
‫Và bây giờ để làm như vậy, chúng ta có thể sử dụng những gì?
‫Chúng ta đã sử dụng những gì trong quá khứ?
‫Tôi muốn bạn suy nghĩ về điều này.
‫Nó nằm trong phần cho vay tâm linh.
‫Nếu bạn nói phân tách thử nghiệm tàu hỏa, bạn đã đúng.
‫Bây giờ nó có thể hơi khó hiểu vì nó nói là train test split, nhưng thực sự chức
‫năng của hàm chỉ là tách dữ liệu thành hai bộ khác nhau, một bộ có kích thước nhất định và một bộ khác có
‫kích thước khác.
‫Hãy thiết lập điều đó.
‫Nhưng trước tiên, những gì chúng ta có thể làm là thiết lập các biến X và Y.
‫Bây giờ, lý do chúng tôi làm điều này là bởi vì.
‫Việc phải nhớ các nhãn và tên tệp bắt nạt hơi tẻ nhạt.
‫Vì vậy, những gì chúng tôi có thể làm là tạo X, là biến tiêu chuẩn của chúng tôi cho dữ liệu của bạn và
‫Y, thường là biến tiêu chuẩn cho nhãn của bạn.
‫Vì vậy, chúng tôi sẽ tạo bản sao của chúng.
‫Xinh đẹp.
‫Và bây giờ vì chúng tôi đang làm việc với hơn 10.000 hình ảnh, chính xác là 10,222.
‫Bạn nên bắt đầu làm việc với một phần của chúng trước để đảm bảo rằng mọi thứ đang hoạt động trước khi chúng ta bắt đầu và đào
‫tạo một mô hình học máy cho tất cả chúng.
‫Đây là một điều cần lưu ý đối với các dự án của chính bạn là khi bạn đang làm thí nghiệm, hãy nhớ mục tiêu của chúng
‫ta là gì?
‫Đó là để giảm thiểu thời gian giữa các thử nghiệm để chúng tôi có thể tìm ra cái nào hiệu quả và cái gì không.
‫Và nếu chúng tôi sử dụng 10.000 ví dụ mỗi lần, thì sẽ mất một khoảng thời gian.
‫Và nếu bạn chưa bao giờ đào tạo mô hình học máy hoặc mô hình học sâu trên hơn 10.000 hình ảnh, vì
‫vậy bạn không có quan điểm về việc mất bao lâu, bạn có thể nói với tôi rằng sẽ mất
‫nhiều thời gian.
‫Vì vậy, chúng tôi có thể sẽ giảm nó xuống và bắt đầu với khoảng 1000 hình ảnh để bắt đầu và sau đó tăng nó lên khi
‫chúng tôi cần.
‫Vì vậy, chúng ta hãy viết một lưu ý nhỏ cho chính mình.
‫Chúng tôi sẽ bắt đầu thử nghiệm 1000 hình ảnh và tăng lên nếu cần.
‫Bây giờ, điều này không chỉ dành cho hình ảnh mà còn cho tất cả các loại dự án máy học.
‫Và chúng tôi đã thấy điều này trong quá khứ bằng cách sử dụng một số mẫu dữ liệu của chúng tôi.
‫Nếu bạn đang làm việc trên phân loại văn bản và bạn có 100.000 email và bạn muốn phân loại xem chúng có phải là
‫spam hay không, bạn có thể chỉ bắt đầu với 5000 và sau đó tích lũy từ đó.
‫Vì vậy, hãy thiết lập một tham số nhỏ.
‫Vì vậy, hãy đặt số lượng hình ảnh để sử dụng cho thử nghiệm.
‫Bây giờ tôi muốn cho bạn thấy một cái gì đó thực sự thú vị trong CoLab, vì vậy chúng tôi sẽ tạo một tham
‫số nhỏ ở đây và bây giờ nó được viết hoa vì quy ước bạn có thể thấy ở đây và ở đó với các dự án học
‫sâu là các tham số siêu.
‫Vì vậy, những thứ mà bạn có thể đặt với tư cách là người dùng thường được đặt bằng chữ hoa.
‫Đó là nơi bạn có thể thấy các biến này được viết hoa đầy đủ, đầy đủ.
‫Vì vậy, hãy tăng 1000 và sau đó trong CoLab, nó có một chút.
‫Hơi mát mẻ với điều đó.
‫Bạn có thể.
‫Nó giống như một chức năng ma thuật ở tiền móng.
‫Và bây giờ tôi vẫn đang tìm ra những thứ này, vì vậy có thể bạn có thể để lại một gợi ý nhỏ về nơi tôi có thể
‫tìm hiểu cách tạo thêm những thứ này nếu bạn tìm ra, bởi vì tôi chỉ biết một vài.
‫Bây giờ, hãy xem này.
‫Vì vậy, những gì chúng tôi đã làm là chúng tôi vừa đi, này, đây là một tham số mà chúng tôi có thể đặt.
‫Tạo một thanh trượt kiểu.
‫Tối thiểu là 1000, tối đa là 10.000 và bước là 1000.
‫Bây giờ hình ảnh bây giờ chỉ mới xuất hiện.
‫Nhìn xem, nếu chúng ta đi như thế này.
‫Ồ, vâng.
‫5000.
‫8000.
‫Chà, tôi có thể chơi với nó cả ngày.
‫Đó là thứ mà CoLab có trên Sao Mộc, ngoài việc được hỗ trợ bởi ngoại vi GPU.
‫Được rồi, bây giờ chúng ta có một thông số nhỏ.
‫Chúng tôi có X và Y.
‫Hãy sử dụng các nhà ngoại cảm học, đào tạo thử nghiệm phân chia.
‫Vì vậy, hãy chia dữ liệu của chúng tôi thành đào tạo và xác nhận từ phân tách kiểm tra đầu vào đào tạo lựa chọn mô hình.
‫Bây giờ một lần nữa, đây được gọi là phân tách thử nghiệm đào tạo, nhưng chức năng cơ bản của chức năng này là phân tách.
‫Bạn có thể thực hiện việc này theo cách thủ công bằng cách sử dụng lập chỉ mục, nhưng chúng tôi sẽ chỉ sử dụng một chức năng để trợ giúp chúng tôi.
‫Chỉ là một dữ liệu tách thành hai bộ khác nhau để đào tạo và xác nhận tổng kích thước.
‫Bây giờ hình ảnh.
‫Đây là biến mà chúng tôi đã thiết lập ở đây.
‫Chạy ô x đó, huấn luyện x val lần này, không phải x thử nghiệm y, huấn luyện y val bằng thử nghiệm huấn luyện chia x lên đến num hình
‫ảnh.
‫Vì vậy, nó sẽ chỉ lấy hàng nghìn tên tệp đầu tiên vì hãy nhớ X chỉ là tên tệp của chúng ta.
‫Chúng tôi chưa nhập hình ảnh của mình chỉ vì nó hoạt động nhanh hơn rất nhiều chỉ với tên tệp.
‫Và tại sao các nhãn của chúng ta ở dạng boolean?
‫Và kích thước thử nghiệm.
‫Một lần nữa, đây chỉ là xác nhận.
‫Kích thước sẽ là 20% và sau đó trạng thái ngẫu nhiên giống như thiết lập hạt giống ngẫu nhiên.
‫Chà, nó giống như đặt hạt giống ngẫu nhiên thành 42.
‫Vì vậy, trạng thái ngẫu nhiên bằng 42 cũng giống như trạng thái đi lên hạt giống ngẫu nhiên 42.
‫Và nếu bạn không chắc hạt giống ngẫu nhiên có tác dụng gì, có một video về điều đó.
‫Nếu không, bạn có thể muốn Google nhanh chóng.
‫Hạt giống ngẫu nhiên làm gì?
‫Vì vậy, nếu chúng ta đi.
‫Len X đào tạo chỉ để kiểm tra tất cả độ dài của dữ liệu của chúng tôi là chính xác bởi vì bạn sẽ không tin rằng số
‫lần tôi đã bị đốt cháy vì dữ liệu của tôi có hình dạng sai.
‫Bạn sẽ dành hàng giờ chiến đấu để đưa dữ liệu của mình vào đúng hình dạng.
‫Hãy tin tôi.
‫Tôi đã từng ở đó.
‫Được rồi, tuyệt vời.
‫Vì vậy, chúng tôi đã có 1000 mẫu và chúng tôi có kích thước thử nghiệm 20%.
‫Vì vậy, điều đó có nghĩa là sẽ có 800 mẫu trong phần đào tạo và 200 mẫu trong phần xác nhận.
‫Vì vậy, chúng ta hãy chỉ có một cái nhìn nhanh chóng.
‫Hãy xem dữ liệu đào tạo.
‫Vì vậy, X huấn luyện chỉ để xác minh rằng chúng ta vẫn còn trên trái đất này.
‫Chúng tôi vẫn đang làm việc với những thứ phù hợp.
‫Thực ra, đó là một chút quá nhiều.
‫Tôi phải nhớ rằng đây là những nhãn hiệu bắt nạt hoàn toàn, vì vậy có rất nhiều ở đó.
‫Vì vậy, đào tạo, chúng tôi có đường dẫn tệp, đúng không?
‫Đó là những gì chúng tôi muốn.
‫Và đào tạo cho các nhãn chúng tôi có.
‫Nhãn bắt nạt.
‫Đó là những gì chúng ta đang theo đuổi.
‫Được rồi.
‫Vì vậy, bây giờ chúng tôi có dữ liệu của mình cho một tập hợp đào tạo và xác thực, một tập hợp con nhỏ, xin lưu ý bạn, vì hãy nhớ
‫rằng, mục tiêu của chúng tôi bắt đầu là giảm thiểu thời gian giữa các thử nghiệm.
‫Những gì chúng ta có thể làm cuối cùng là biến hình ảnh ra hoặc ít nhất là tạo ra một số chức năng để biến
‫hình ảnh và nhãn của chúng ta thành các thì.
‫Hãy làm điều đó trong video tiếp theo.