‫Bây giờ chúng tôi đã điều chỉnh các tham số siêu của mô hình hồi quy logistic của chúng tôi và nó nhận được điểm số khá tốt
‫ở đây.
‫Nhưng hãy nhớ điểm số này, điểm số mặc định cho một bộ phân loại là độ chính xác.
‫Những gì chúng tôi muốn làm bây giờ là tạo ra một số chỉ số đánh giá xung quanh mô hình của chúng tôi, vượt quá độ
‫chính xác một chút.
‫Cụ thể hơn, hãy tạo mô hình học máy được điều chỉnh của chúng tôi.
‫Trên thực tế, bộ phân loại học máy có lẽ là một công cụ tốt hơn vì những
‫chỉ số đánh giá này dành riêng cho việc phân loại, vì vậy chúng tôi sẽ vượt xa độ chính xác.
‫Vì vậy, một lần nữa, cụ thể hơn, chúng tôi muốn có đường cong ROC và điểm AUC.
‫Chúng tôi cũng muốn có một ma trận nhầm lẫn.
‫Tôi đang đặt bốn cái ở đó mà thực sự trông giống như từ Ma trận với rất nhiều con số.
‫Bạn biết đấy, màn hình màu xanh lá cây chảy đó.
‫Chúng tôi muốn một báo cáo phân loại.
‫Chúng ta còn muốn gì nữa?
‫Chúng tôi muốn thu hồi chính xác và f một điểm.
‫Và nó sẽ rất tuyệt.
‫Và sẽ thật tuyệt nếu xác thực chéo được sử dụng nếu có thể.
‫Vì vậy, hãy biến nó thành markdown.
‫Vì vậy, đây là những gì chúng tôi sẽ làm việc.
‫Chúng tôi sẽ sử dụng tìm kiếm lưới đã điều chỉnh, mô hình hồi quy logistic cũng như loại thông số tốt nhất cho
‫nó.
‫Và chúng ta sẽ xem nơi họ phát huy tác dụng trong một giây nữa.
‫Vì vậy, trước hết, khi chúng tôi đánh giá một mô hình, nó luôn so sánh cách các dự đoán của mô hình
‫được đào tạo của chúng tôi so với nhãn sự thật.
‫Vì vậy, những gì chúng ta phải làm là đưa ra một số dự đoán trước để chúng ta có thể so sánh chúng với nhãn chân lý, a. k. a các nhãn trong
‫tập dữ liệu thử nghiệm Y.
‫Vì vậy, chúng ta hãy làm điều đó.
‫Vâng, viết một ghi chú ở đây để so sánh và đánh giá mô hình được đào tạo của chúng tôi.
‫Đầu tiên, chúng ta cần đưa ra dự đoán.
‫Vì vậy, những gì chúng tôi sẽ làm, chúng tôi sẽ đưa ra dự đoán với mô hình đã điều chỉnh và có một chức năng tuyệt đẹp được gọi là dự đoán mà chúng tôi có thể sử dụng cho điều đó,
‫vì vậy chúng tôi sẽ lưu nó vào Y spread và chúng tôi sử dụng giàn ghi nhật ký GS chỉ là phiên bản được đào tạo của chúng
‫tôi của mô hình tìm kiếm lưới của chúng tôi.
‫Vì vậy, giàn khoan GS không dự đoán và chúng tôi sẽ dự đoán trên dữ liệu thử nghiệm tại sao Preds Wonderful.
‫Và hãy xem chúng chỉ để đảm bảo rằng chúng ta sẽ không điên rồ, đẹp đẽ.
‫Và bây giờ chúng ta cần so sánh chúng với tập dữ liệu thử nghiệm.
‫Vì vậy, chúng tôi có một cái nhìn về điều này ở đây.
‫Được chứ.
‫Vì vậy, nếu chúng ta muốn về 0 0, chúng ta có thể biết nó đã sai cái này vì cái này được cho là số 0 ở đó bởi vì đây là
‫nhãn sự thật ở đây và sau đó chúng ta có thể tiếp tục đi qua đó, nhưng chúng ta sẽ
‫không làm điều đó .
‫Chúng tôi muốn sử dụng một số mã để làm điều đó.
‫Vì vậy, điều đầu tiên, chúng tôi muốn có một đường cong đá, bởi vì hãy nhớ rằng chúng tôi có một danh sách nhỏ ở đây.
‫Vì vậy, một đường cong đá và điểm AUC.
‫Hừ!
‫Đường cong đá là gì?
‫Chà, nếu chúng ta tìm kiếm điều đó.
‫Vậy đường cong đá là gì?
‫Chúng tôi đã trải qua quá trình này.
‫Vậy hiểu đường cong AOC Roc.
‫Vì vậy, nếu chúng ta đọc qua điều này.
‫Những gì chúng ta sẽ nhận được là đường cong đá được tạo ra bằng cách vẽ biểu đồ tỷ lệ dương tính thực so với
‫tỷ lệ dương tính giả ở các cài đặt ngưỡng khác nhau.
‫OC Đẹp.
‫Vì vậy, hãy xem làm thế nào chúng tôi làm điều đó.
‫Đường cong là một cách để hiểu mô hình của bạn đang hoạt động như thế nào bằng cách so sánh tỷ lệ
‫dương tính thực sự với tỷ lệ dương tính giả.
‫Và nếu chúng ta muốn tìm ra dương tính thật và dương tính giả là gì, chúng ta có thể xem ma trận nhầm lẫn
‫của chúng ta về điều đó.
‫Vì vậy, một mô hình tích cực thực sự dự đoán một khi sự thật là một, và một mô hình dương tính giả chỉ là mô hình dự đoán
‫một khi sự thật được cho là bằng không.
‫Và một mô hình hoàn hảo sẽ đạt được điểm AUC.
‫Những gì chúng ta thấy trong một giây của 1. 0.
‫Vì vậy, hãy xem chúng tôi làm điều đó như thế nào.
‫Vì vậy, nhập hàm đường cong RC từ ma trận điểm đường chân trời.
‫Đó là nguồn gốc của nó.
‫Đó là nơi nó sống.
‫Nhưng chúng tôi thực sự đã làm điều này như với tất cả các chức năng dòng khác mà chúng tôi đang sử dụng
‫ngay từ đầu.
‫Quay lại ngay đây.
‫Vì vậy, đây là đánh giá mô hình ngay bây giờ trong phần tiếp theo này, video tiếp theo này, chúng ta sẽ giải
‫quyết mọi thứ từ đây.
‫Vì vậy, chúng ta có thể thấy ở đây, chúng ta đã tìm kiếm ngẫu nhiên tìm kiếm lưới, đường cong biểu đồ ma trận nhầm
‫lẫn chính mà chúng ta sắp sử dụng điểm chính xác, điểm thu hồi, điểm F1.
‫Vì vậy, đây là cho mô hình phân loại của chúng tôi.
‫Vì vậy, chúng ta hãy đi xuống.
‫Chúng ta có thể lưu cho mình một dòng mã.
‫Chúng tôi không thực sự phải nhập nó.
‫Chúng ta quay lại ngay đây.
‫Chúng ta chỉ có thể đi.
‫Đường cong Plot Roc.
‫Bây giờ, đây là một bổ sung tương đối mới cho thư viện cho mượn tâm linh, mà tôi rất, rất hài lòng, bởi
‫vì thông thường bạn phải viết những thứ này một mình.
‫Hàm này, đường cong biểu đồ này và tính toán nó thực sự tính chỉ số AUC cho chúng ta.
‫Vì vậy, diện tích dưới chỉ số đường cong, chúng ta hãy xem nó hoạt động.
‫Tôi sẽ vẽ đường cong ROC.
‫Cô ấy giống như Greg.
‫Và nếu chúng ta tra cứu điều này trong tài liệu, nó sẽ cho chúng ta biết nó hoạt động gì, chuyển cho
‫nó một ước tính, đó là mô hình học máy của chúng ta Passat, bộ nhận đồ thị Passat y, đặc tính hoạt động, đường cong
‫chính xác.
‫Đó là những gì sẽ làm cho chúng tôi.
‫Xinh đẹp.
‫Vì vậy, Jes đăng nhập giàn khoan x thử nghiệm và chúng tôi muốn nó thực hiện trên tập dữ liệu thử nghiệm.
‫Luôn luôn đánh giá.
‫Điều này nên được tính toán.
‫Luôn đánh giá các mô hình học máy trong tập dữ liệu thử nghiệm và chúng ta hãy xem.
‫Ôi thật xinh đẹp.
‫Được rồi, hãy nhớ lại một đường cong hoàn hảo của đá mà chúng ta đã thấy trong các video trước.
‫Chúng tôi đi đến góc này và sau đó băng qua như vậy, nhưng khi Ted đi lên khá tốt, sau đó chúng tôi nhận được một khu vực dưới
‫đường cong.
‫Vì vậy, nếu chúng tôi tính toán tất cả diện tích này dưới đây là 0. 93, tất nhiên một mô hình hoàn hảo sẽ đạt được 1. 0.
‫Vì vậy, mô hình của chúng tôi không hoàn hảo, nhưng đó là điểm AUC bằng 0. 93 khi trung bình của chỉ.
‫Tung đồng xu về cơ bản sẽ là 0. 5.
‫Vì vậy, chúng tôi đang tiến gần đến một mô hình hoàn hảo.
‫Không tồi cho một mô hình vừa ra khỏi hộp.
‫Được rồi.
‫Điều tiếp theo chúng tôi muốn làm là một ma trận nhầm lẫn.
‫Vì vậy, chúng ta hãy xem điều đó.
‫Vì vậy, nhầm lẫn ma trận.
‫Làm thế nào chúng tôi có thể làm điều đó?
‫Vì vậy, tôi nghĩ nó giống như nó Lone có một chức năng và tôi không nghĩ rằng tôi biết.
‫Vì vậy, giống như nó một mình có một chức năng.
‫Chúng ta có thể tạo ra ma trận nhầm lẫn và chúng ta muốn so sánh các nhãn sự thật cơ bản với các nhãn dự đoán.
‫Được chứ.
‫Chúng tôi có thể để nó như vậy.
‫Đó là một chút nhạt nhẽo.
‫Chúng tôi có thể cải thiện hình ảnh của ma trận nhầm lẫn này bằng cách sử dụng.
‫Đường biển.
‫Đó là những gì chúng tôi muốn.
‫Vì vậy, chúng tôi muốn đi.
‫Tôi tin rằng chúng ta đã có tàu biển ở đây.
‫Ừ.
‫Chúng ta có hắt hơi không?
‫Vâng, chúng tôi làm.
‫Vì vậy, chúng tôi đã sử dụng Seabourn trước đây trong dự án này để chúng tôi có thể đi.
‫Điều tôi có thể làm là tôi biết trước rằng chúng ta cần cỡ chữ lớn hơn.
‫Vì vậy, kích thước phông chữ bằng 1. 5.
‫Đó chỉ là tập hợp dấu chấm.
‫Bây giờ, chúng ta sẽ tạo một hàm nhỏ ở đây trong trường hợp chúng ta muốn tạo một ma trận nhầm lẫn khác.
‫Bởi vì các nhà ngoại cảm học được sự nhầm lẫn, chức năng của ma trận không phải là vấn đề như khi làm video này.
‫Bạn có thể luôn luôn.
‫Có lẽ đó là cơ hội cho một yêu cầu kéo.
‫Vì vậy, chúng tôi đi đây.
‫Đẹp và đơn giản.
‫Vì vậy, chúng tôi sẽ vượt qua nó.
‫Chức năng này, thử nghiệm của chúng tôi.
‫Nhãn và các nhãn dự đoán của chúng tôi.
‫Và sau đó chúng ta sẽ tạo ra một cốt truyện đẹp mắt, một ma trận nhầm lẫn đẹp mắt bằng cách sử dụng các liên kết C.
‫Chúng tôi đã thấy điều này trước đây.
‫Bản đồ nhiệt.
‫Tuyệt vời.
‫Vì vậy, đi tìm con số.
‫X bằng plt dot subplots hình kích thước bằng 330 chuyển vào kích hoạt vui vẻ trở lại x bằng sas bản đồ nhiệt.
‫Tuyệt vời.
‫Và chúng ta sẽ vượt qua nó ma trận học ngoại cảm học về sự nhầm lẫn thở dài y kiểm tra y trước.
‫Và sau đó chúng tôi muốn thêm vào đây một chú thích không phải như vậy.
‫Vâng, làm ơn.
‫Chú thích bằng true.
‫Chúng ta sẽ đi C Bar bởi vì chúng ta không muốn Calabar vì tôi đã thấy Calabar
‫và nó trông không quá đẹp trên nhãn PLT dot x của ma trận nhầm lẫn.
‫Nhãn đúng và sau đó chúng ta sẽ có nhãn plt y sẽ chuyển sang nhãn dự đoán và chúng ta hãy xem nó.
‫Vì vậy, chúng ta sẽ đi vẽ đồ thị ma trận nhầm lẫn định dạng comp y, kiểm tra chênh lệch y.
‫Ôi không.
‫Chúng ta đã làm gì?
‫Cỡ chữ.
‫Điều đó nói rằng, Alfonso đã sai.
‫Tab này là gì?
‫Ồ, quy mô.
‫Chúng ta bắt đầu.
‫Tính năng tự động hoàn thành tab đối với những người đã đi là cổ điển và nó mang lại cho chúng tôi điều bị cắt nhỏ này ở đây để chúng tôi có thể
‫khắc phục điều này.
‫Tôi tin rằng bằng cách đi từ dưới lên trên, nó sẽ X dot get y lim Yep.
‫Và sau đó chúng tôi muốn đi thiết lập rìu, William.
‫Làm cho nó trở nên đẹp đẽ một chút.
‫William Và nó sẽ là hạng dưới cùng, 0. 5 đầu -0. 5.
‫Tất nhiên, bây giờ, nếu ma trận nhầm lẫn của bạn hiển thị tốt, bạn có thể không cần những dòng
‫này, nhưng nó không quan trọng.
‫Chúng ta bắt đầu.
‫Chúng ta có thể trông đẹp hơn một chút.
‫Vì vậy, bạn có thể thấy rằng mô hình bị nhầm lẫn.
‫Vì vậy, dự đoán nhãn sai tương đối giống nhau trên cả hai lớp.
‫Vì vậy, về bản chất, có bốn trường hợp ở đây mà mô hình dự đoán bằng không.
‫Nhãn dự đoán để dự đoán một người nào đó không bị bệnh tim trong khi họ đáng lẽ phải được
‫dự đoán là một.
‫Vì vậy, đó là một âm tính giả.
‫Vì vậy, nó dự đoán số không thay vì một.
‫Một âm tính giả.
‫Hãy nhớ rằng, khi chúng ta quay lại đây, mô hình phủ định sai dự đoán bằng 0 khi sự thật là một.
‫Và đằng này là những kết quả dương tính giả.
‫Vì vậy a. k. a, chúng tôi có ba trường hợp ở đây trong đó một người mẫu dự đoán một người, một
‫người nào đó mắc bệnh tim trong khi họ thực sự không mắc bệnh.
‫Và bạn có thể thấy đây là cả hai điều mà chúng tôi muốn tránh.
‫Đúng.
‫Đặc biệt là khi chúng ta đang nghĩ về một điều gì đó nghiêm trọng hoặc nghiêm trọng như bệnh tim, thậm chí dự đoán khi
‫nó không xuất hiện.
‫Vì vậy, ở đây, nếu chúng ta dự đoán số không.
‫Vì vậy, không có bệnh khi nó hiện diện.
‫Được rồi, tệ quá.
‫Nhưng cũng dự đoán rằng nó ở đó trong khi nó không thực sự ở đó, điều đó cũng không tốt.
‫Vì vậy, đó là một cái gì đó mà bạn muốn phải xem xét khi bạn đang xây dựng loại mô hình này.
‫Âm tính giả tệ hơn hay dương tính giả tệ hơn?
‫Và một lần nữa, một mô hình hoàn hảo sẽ không có những thứ này, nhưng trên thực tế, bạn có thể sẽ gặp phải một
‫số loại nhầm lẫn ở đây với mô hình của mình.
‫Bạn sẽ không lý tưởng, những thứ này sẽ hoàn hảo ở bên này, bên kia đường.
‫Bây giờ chúng tôi đã thực hiện một ma trận nhầm lẫn.
‫Chúng tôi đã có điều đó ở đó.
‫Chúng tôi có thể chia sẻ điều đó với sếp của chúng tôi.
‫Một đường cong ROC ở đó.
‫Cái gì tiếp theo?
‫Báo cáo phân loại.
‫Được chứ.
‫Và sẽ thật tuyệt nếu xác thực chéo được sử dụng nếu có thể.
‫Được rồi.
‫Vì vậy, đó là những gì chúng tôi có thể giải quyết video tiếp theo.