‫Tuyệt vời.
‫Chúng tôi đã thấy cách nhanh chóng đánh giá mô hình học máy của chúng tôi đang hoạt động như thế nào
‫và đánh giá nó bằng phương pháp điểm số và điều đó sẽ trả về chỉ số đánh giá mặc định
‫tùy thuộc vào vấn đề chúng tôi đang giải quyết trong hồi quy, nó sẽ trả về hệ số xác định và trong phân loại, nó trả về
‫độ chính xác trung bình.
‫Tuy nhiên, khi bạn đi sâu hơn vào một vấn đề, có thể bạn sẽ muốn bắt đầu sử dụng một số chỉ số mạnh mẽ
‫hơn để đánh giá hiệu suất mô hình của mình.
‫Và theo lẽ tự nhiên, bước tiếp theo từ việc sử dụng điểm số là sử dụng một thông số tính điểm tùy chỉnh.
‫Vì vậy, nếu chúng ta thấy ở đây, chúng ta đã xem xét một ước tính này, một phương pháp cho điểm
‫và bây giờ chúng ta sẽ xem xét việc sử dụng các công cụ đánh giá mô hình tham số cho điểm, sử dụng xác thực chéo.
‫Tất cả những gì chúng ta có thể phải xem đó là gì.
‫Vì vậy, chúng ta hãy đi sâu vào nó.
‫Này, những gì chúng ta sẽ làm là giải quyết vấn đề này.
‫Bây giờ, bạn sẽ phải chịu đựng với tôi trong vài video tiếp theo vì chúng tôi sẽ trình bày một chút ở đây.
‫Lý do là vì đánh giá một mô hình học máy là một bước quan trọng như vậy.
‫Đó là một điều để gọi một hàm phù hợp trên một số dữ liệu, nhưng điều quan trọng nhất tiếp theo là, Này, mô hình
‫đó có thực sự hoạt động không?
‫Nó đang học một cái gì đó?
‫Chúng ta có thể sử dụng điều đó để dự đoán trong tương lai không?
‫Và đó là lý do tại sao tôi đảm bảo rằng chúng tôi đang bao phủ rất nhiều điều ở đây.
‫Vậy hãy bắt đầu.
‫Những gì chúng ta sẽ làm là đi từ quy mô, tìm hiểu lựa chọn mô hình, nhập chéo, điểm nguyên âm.
‫Và như mọi khi, chúng tôi sẽ chạy mã đầu tiên trước khi đi sâu vào những gì đang thực sự diễn ra.
‫Và những gì chúng ta cần là một số mã phân loại.
‫Vì vậy, những gì chúng tôi sẽ làm, chúng tôi có thể sao chép điều này.
‫Nhân tiện, bạn được phép sao chép nó, bởi vì chúng tôi đã viết nó một vài lần bây giờ.
‫Vì vậy, điều khác biệt duy nhất ở đây của những gì chúng tôi đã làm là chúng tôi đã nhập điểm số nguyên âm chéo từ lốc
‫xoáy, lựa chọn mô hình.
‫Bây giờ, điều tiếp theo chúng ta sẽ làm vì chúng ta đã gọi là vừa vặn ở đó, chúng ta chỉ đặt một chút dấu
‫chấm phẩy để không thu được kết quả lớn.
‫Bạn biết gì?
‫Cảnh báo này tiếp tục xuất hiện, vì vậy chúng tôi có thể tiếp tục thay đổi điều đó.
‫Một ước tính bằng 100 tuyệt vời.
‫Và điểm số nguyên âm chéo, nó có điểm số từ trong đó, nhưng chúng ta đã thấy.
‫Nguyên âm chéo này làm gì?
‫Vâng, chúng ta hãy xem xét.
‫Vì vậy, hãy đi xem điểm của chúng tôi.
‫Chúng tôi sẽ làm dữ liệu thử nghiệm trước để chúng tôi có thể so sánh và sau đó chúng tôi sẽ làm như vậy.
‫Nhưng lần này bằng cách sử dụng điểm số nguyên âm chéo, điểm số nguyên âm chéo và điểm số nguyên âm chéo sẽ sử dụng trình phân loại của chúng tôi.
‫Nó lấy dữ liệu x và nó lấy dữ liệu Y, không phải kiểm tra.
‫Và không phải xe lửa.
‫Chúng tôi sẽ xem những gì đang xảy ra trong một giây.
‫Huh?
‫Điều gì đang xảy ra ở đây?
‫Và một lần nữa, chúng tôi nhận được một cảnh báo khác.
‫Điều này chỉ để nói rằng giá trị mặc định của CVE sẽ thay đổi từ 3 thành 5.
‫Vì vậy, nếu chúng ta có một cái nhìn vào tab thay đổi này.
‫Hãy đọc docstring.
‫Đánh giá điểm số bằng cách xác nhận chéo.
‫Xác thực chéo thậm chí là gì?
‫Và vì vậy CV sẽ đưa ra một lời cảnh báo cho chúng ta.
‫Đây là nơi xuất phát cảnh báo đó.
‫Nếu chúng tôi thay đổi điều này từ CV bằng, mặc định là ba.
‫Nếu chúng ta thay đổi nó thành năm, cảnh báo đó sẽ biến mất.
‫Và bây giờ chúng ta sẽ lấy lại một mảng gồm năm điểm số khác nhau.
‫Hừ!
‫Vì vậy, đó có lẽ là sự khác biệt đầu tiên mà bạn sẽ nhận thấy.
‫Điểm số nguyên âm chéo trả về một mảng, trong khi điểm số chỉ trả về một số duy nhất.
‫Được chứ.
‫Vậy làm thế nào chúng ta có thể tìm ra điều này?
‫Chúng ta cần phải tìm hiểu xác thực chéo là gì vì xét cho cùng, điểm số nguyên âm chéo đang
‫làm gì.
‫Quay lại docstring.
‫Đánh giá điểm số bằng cách xác nhận chéo trên Lucky.
‫Đây là điều mà tôi đã chuẩn bị trước đó để chứng minh.
‫Và như mọi khi, tôi hiểu mọi thứ hơn.
‫Về mặt trực quan, bạn có thể làm tương tự để chứng minh xác thực chéo đang làm gì.
‫Vì vậy, những gì chúng tôi đã làm trước đây trong phân đoạn đào tạo và thử nghiệm bình thường của chúng tôi.
‫Vì vậy, chúng tôi chia dữ liệu của mình thành quá trình đào tạo.
‫Vì vậy, đây có thể là một kỳ nghỉ.
‫Chúng tôi bắt đầu với 100 hồ sơ bệnh nhân.
‫Chúng tôi sẽ chia nó thành một phần đào tạo.
‫Trong trường hợp của chúng tôi, chúng tôi đã sử dụng 80% và điều này sẽ chứa X train và chúng tôi đào tạo 80 mẫu và tôi đã sử dụng
‫số 100 ở đây.
‫Chúng tôi thực sự có nhiều hơn thế.
‫Nhưng điều này chỉ là bởi vì các con số hoạt động trực quan hơn ở đây.
‫Và trong tập dữ liệu thử nghiệm của chúng tôi, chúng tôi có 20% dữ liệu sẽ chứa thử nghiệm X và chúng tôi thử nghiệm.
‫Bây giờ sự khác biệt ở đây với xác thực chéo và trong trường hợp của chúng tôi, hình ảnh này ở đây là minh chứng
‫cho xác thực chéo năm lần.
‫Những gì bạn có thể thấy xác thực chéo được đề cập đến là K lần lượt trong đó K là một số tùy ý.
‫Và lý do tại sao chúng tôi sử dụng năm là bởi vì nếu chúng tôi quay lại đây, CV bằng năm ở đó.
‫Vì vậy, đó là viết tắt của xác nhận chéo.
‫Và đây là những gì tôi đang nói đến, tách dữ liệu của chúng tôi thành đào tạo và kiểm tra bằng cách sử dụng 20% cho kích thước
‫thử nghiệm.
‫Vì vậy, điều đó có nghĩa là tự nhiên 80% còn lại chuyển đến dữ liệu đào tạo, đó là nơi bắt nguồn của sự phân chia
‫nhỏ này.
‫Bây giờ, những gì xác thực chéo làm là nó thực hiện năm phần tách khác nhau, vì vậy nó sẽ sử dụng 20% đầu tiên.
‫Vì vậy, hãy xem cách ở đây đây là loại sử dụng đuôi cuối cùng 20% ở đây.
‫Vì vậy, nó sẽ tạo tập dữ liệu thử nghiệm ở đây và tập dữ liệu đào tạo ở đây.
‫Sau đó, nó sẽ chuyển đến đây và sử dụng nó làm tập dữ liệu thử nghiệm.
‫Và sau đó một lần nữa và một lần nữa và một lần nữa.
‫Và điều xảy ra là xác thực chéo đào tạo năm phiên bản khác nhau của mô hình và sau đó nó đánh giá rằng
‫các mô hình đó được đào tạo trên từng dữ liệu đào tạo trên năm phiên bản khác nhau của dữ liệu
‫thử nghiệm.
‫Vậy mục đích của việc này là gì?
‫Chà, như bạn có thể tưởng tượng, nếu chúng tôi chỉ đào tạo một mô hình, đó có thể là một sự phân chia may rủi, chẳng hạn
‫như, nói thế này, 80% các hàng nói rằng có rất nhiều thông tin và mô hình có thể học rất
‫tốt về 80 hàng này, trên 80 hồ sơ bệnh nhân này.
‫Và sau đó nó đã đạt điểm rất cao trong bài kiểm tra này.
‫Đó có phải là sự phản ánh trung thực về cách mô hình của chúng tôi sẽ hiểu dữ liệu hoặc tìm ra các mẫu trong
‫dữ liệu không?
‫Chà, không hẳn vậy.
‫Đúng, vì đó chỉ là may mắn, phải không?
‫Nếu chúng ta chỉ tách điều này một cách ngẫu nhiên và bằng cách nào đó, một loạt các hồ sơ bệnh nhân dễ dàng đã đến đây và các mô hình
‫đã tìm ra các mẫu nhất định và nó sẽ chuyển sang đây cho tập dữ liệu thử nghiệm này.
‫Và nó có một số điểm đáng kinh ngạc.
‫Chúng ta có thể đang tự lừa mình.
‫Chúng tôi có thể tự đánh lừa mình khi nghĩ rằng mô hình của chúng tôi tốt hơn nhiều so với thực tế.
‫Vì vậy, đó là lúc xác thực chéo phát huy tác dụng.
‫Nó nhằm mục đích cung cấp một giải pháp để không phải đào tạo trên tất cả dữ liệu và tránh nhận được những điểm số may mắn chỉ
‫trên một phần dữ liệu duy nhất.
‫Vì vậy, nó sẽ tạo ra năm sự phân chia khác nhau.
‫Vì vậy, không có vấn đề gì, mô hình của chúng tôi sẽ được đào tạo trên tất cả dữ liệu và được đánh giá trên tất cả
‫dữ liệu.
‫Và đây là lý do tại sao nếu chúng ta quay trở lại.
‫Để xem điểm số nguyên âm chéo.
‫Đó là lý do tại sao nó mang lại cho chúng tôi năm điểm số khác nhau ở đây.
‫Ồ, điều đó bắt đầu có ý nghĩa.
‫Vì vậy, nếu chúng tôi gọi tham số điểm trên chỉ dữ liệu Kiểm tra X và dữ liệu kiểm tra Y của chúng tôi, nó sẽ trả lại
‫một điểm.
‫Nhưng nếu chúng ta gọi điểm số nguyên âm chéo vì chúng ta tham khảo lại hình ảnh ở đây, nó sẽ tạo ra năm cách phân
‫chia khác nhau.
‫Và hãy nhớ rằng, năm lần chỉ là một số tùy ý.
‫Bạn có thể gấp mười lần, bạn có thể gấp ba lần.
‫Bạn thậm chí có thể làm 100 lần.
‫Nhưng 5 lần là mặc định của thư viện và nó thường khá tốt tùy thuộc vào kích thước dữ liệu của
‫bạn.
‫Vì vậy, chúng tôi sẽ sử dụng năm lần để chứng minh ở đây.
‫Chỉ để chứng minh điều đó cho bạn.
‫Chúng ta có thể vào đây.
‫Điểm số nguyên âm chéo.
‫Chúng tôi thậm chí có thể làm mười.
‫Vì vậy, điều này có nghĩa là nó sẽ tạo ra mười phần tách khác nhau giống hệt như thế này.
‫Và sau đó trả về mười điểm số khác nhau.
‫Vì vậy, bạn thấy ở đây, đây là một ví dụ tuyệt vời về chia một, nó có điểm 0. 9, do đó có thể là 90%,
‫cao hơn ở đây.
‫Nhưng trong lần chia tách sau đó, nó có thứ gì đó thấp hơn nhiều, 72.
‫Và vì vậy những gì chúng tôi làm ở đây là tìm ra số liệu hiệu suất hoặc số liệu đánh giá lý tưởng hơn cho mô hình
‫của chúng tôi là chúng tôi có thể lấy trung bình của năm điểm số này.
‫Hãy xem nó xảy ra.
‫Chúng tôi sẽ làm tất cả trong một ô, hạt giống ngẫu nhiên.
‫Và những gì chúng tôi sẽ làm là nhận được một điểm đào tạo và bài kiểm tra duy nhất.
‫Tôi sẽ đảm bảo điểm CLF đơn bằng điểm CLF X kiểm tra.
‫Nó sẽ sử dụng cùng một dữ liệu ở đây Y thử nghiệm.
‫Tuyệt vời.
‫Và sau đó chúng ta sẽ tính đến điểm số xác thực chéo gấp năm lần.
‫Điểm số nguyên âm chéo bằng np nghĩa là chúng ta cần điểm số nguyên âm chéo x ồ không, chúng ta cần chuyển nó qua bộ phân
‫loại x y của chúng ta và chúng ta sẽ sử dụng CV bằng năm và sau đó.
‫So sánh hai.
‫Vì vậy, chúng ta sẽ xem một đĩa đơn trực tiếp.
‫Trường học và sau đó là Trường SEAL F Cross Val.
‫Byrne Vậy chúng ta thấy gì ở đây?
‫Vâng, trong trường hợp của chúng tôi.
‫Điểm số duy nhất ban đầu của chúng tôi, hiện ở dưới đây, chỉ là con số chính xác vì chúng tôi đang sử
‫dụng một hạt giống ngẫu nhiên sử dụng cùng một dữ liệu thử nghiệm.
‫Điểm duy nhất của chúng tôi là 0. 85.
‫Nhưng khi chúng tôi sử dụng xác thực chéo, khi chúng tôi sử dụng năm lần phân tách vì KV bằng năm, chúng tôi nhận được
‫điểm 0. 82.
‫Vì vậy, nó thấp hơn một chút.
‫Nhưng trong trường hợp này, nếu bạn được yêu cầu báo cáo độ chính xác của mô hình của mình, mặc
‫dù nó thấp hơn, bạn sẽ thích chỉ số xác thực chéo hơn chỉ số không xác thực chéo.
‫Giờ thì sao?
‫Chúng tôi thậm chí còn chưa sử dụng thông số tính điểm.
‫Đó là bởi vì theo mặc định, nó được đặt thành không.
‫Chúng ta hãy có một cái nhìn.
‫Thông số chấm điểm được đặt thành không.
‫Theo mặc định.
‫Vì vậy, nếu chúng ta gọi điểm số nguyên âm chéo C, l, f, x, y, CV, chúng ta có thể vượt qua điểm ở đây và nó sẽ được đặt
‫thành không.
‫Vì vậy, nếu chúng tôi thực hiện chuyển đổi tab trên này, làm thế nào để tôi biết điều này?
‫May mắn thay, docstring có ích.
‫C Theo mặc định, nó được đặt thành không.
‫Vì vậy, nếu chúng ta tiếp tục cuộn xuống.
‫Di chuyển sổ ghi chép của chúng tôi sao cho chuỗi ghi điểm có thể gọi được hoặc không có tùy chọn mặc định nào là tài liệu đánh giá mô hình OC a
‫chuỗi C.
‫Đó là những gì chúng tôi đã xem xét ở đây.
‫Hoặc một điểm số một hàm gạch chéo đối tượng có thể gọi với điểm số chữ ký ước tính x
‫y sẽ chỉ trả về một giá trị duy nhất nếu không có ước tính nào là công cụ ghi điểm mặc định nếu có được sử dụng.
‫R Được rồi, đây là lý do tại sao chúng ta biết rằng đây là độ chính xác, bởi vì nếu tham số cho
‫điểm của điểm Crosswell là không có, nó sẽ sử dụng tham số cho điểm mặc định trong ước tính của chúng ta trong trường hợp cú pháp.
‫Nó là gì?
‫Tham
‫số cho điểm mặc định của trình phân loại bằng độ chính xác trung bình.
‫Và chúng ta đã thấy điều đó ở đâu trước khi chúng ta thấy điều đó trong video cuối cùng?
‫Khi chúng tôi đi xem điểm số trực tiếp và chúng tôi nhấn tab shift sẽ trả về độ chính xác chính trên nhãn và dữ liệu thử nghiệm đã
‫cho.
‫Vì vậy, điều đó có nghĩa là khi chúng tôi đặt điểm số thành không, nó sẽ sử dụng số liệu đánh giá mặc định để
‫xác thực chéo trên bộ phân loại của chúng tôi.
‫Vì vậy, nếu chúng ta nhấn shift và enter.
‫Nó sẽ trả về các giá trị giống nhau.
‫Hoặc nó có thể hơi khác một chút, phải không?
‫Bởi vì chúng tôi chưa thiết lập một hạt giống trong ô này.
‫Vì vậy, các giá trị này sẽ khác với điểm số ô chéo mà chúng ta thấy ở đó.
‫Nếu chúng tôi chạy nó ở đây, chúng tôi sẽ thấy các giá trị tương tự.
‫Chúng ta đã đề cập đến điều gì ở đây?
‫Vâng, như bạn có thể đoán, thông số tính điểm có thể được thay đổi.
‫Đúng?
‫Vì vậy, chúng tôi có thể, như docstring nói, chúng tôi có thể nhập thông số tính điểm của riêng mình tại đây.
‫Chúng tôi có thể thay đổi điều này thành một cái gì đó khác hơn là không có.
‫Đó là những gì chúng ta sẽ bắt đầu đề cập, phải không?
‫Chúng ta sẽ xem xét trong một số video tiếp theo, một số chỉ số đánh giá mô hình phân loại khác
‫mà chúng ta có thể sử dụng với xác thực chéo.
‫Và vì vậy, trong khi chúng tôi sử dụng xác thực chéo, như chúng tôi đã thấy.
‫Trong hình.
‫Xác thực chéo nhằm mục đích giải quyết vấn đề không đào tạo trên tất cả dữ liệu.
‫Đúng.
‫Vì vậy, chúng tôi đang tạo ra năm mô hình và cuối cùng chúng tôi sẽ có một mô hình được đào tạo trên tất cả dữ liệu và tránh
‫nhận được điểm số may mắn.
‫Vì vậy, đào tạo trên một tách đơn.
‫Và chúng tôi đã thấy điều đó trong hành động.
‫Với điểm phân tách đơn của chúng tôi ở đây nhận được điểm cao hơn một chút so với điểm xác thực chéo của chúng tôi.
‫Chà!
‫Đó là rất nhiều.
‫Bây giờ, chúng tôi vẫn còn một chút nữa để đi.
‫Hãy xem một số chỉ số phân loại chuyên sâu đang diễn ra.
‫Hẹn gặp lại các bạn trong video tiếp theo.