‫Sekarang, kita telah melihat parameter hiper dari model regresi logistik kita, dan mendapatkan
‫skor yang cukup bagus di sini, tetapi ingat skor ini, skor default untuk pengklasifikasi adalah akurasi.
‫Apa yang ingin kami lakukan sekarang adalah membuat beberapa metrik evaluasi di sekitar model kami yang sedikit melampaui
‫akurasi.
‫Lebih khusus lagi, mari kita buat model pembelajaran mesin yang disetel, sebenarnya pengklasifikasi pembelajaran mesin untuk yang lebih
‫baik.
‫Metrik evaluasi ini khusus untuk klasifikasi, jadi kami akan melampaui akurasi.
‫Jadi, sekali lagi, lebih khusus lagi, kami menginginkan kurva RSI dan U. S. skor.
‫Kami juga menginginkan matriks kebingungan, menempatkan kekurangan di sana yang sebenarnya tampak seperti dari The Matrix dengan banyak
‫angka.
‫Anda tahu, layar hijau yang mengalir itu, mereka menginginkan laporan klasifikasi.
‫Apa lagi yang kita inginkan?
‫Kami ingin recall presisi dan skor F1, dan itu akan sangat bagus.
‫Dan akan sangat bagus jika validasi silang digunakan jika memungkinkan.
‫Jadi mari kita ubah itu menjadi penurunan harga.
‫Inilah yang akan kita kerjakan, akan menggunakan pencarian grid kuno kita, model
‫regresi logistik, serta jenis parameter terbaik untuk itu.
‫Dan kita akan melihat di mana mereka berperan dalam sedetik.
‫Jadi pertama-tama, ketika kami mengevaluasi sebuah model, selalu membandingkan bagaimana prediksi model
‫terlatih dibandingkan dengan label kebenaran.
‫Jadi yang harus kita lakukan adalah membuat beberapa prediksi terlebih dahulu sehingga kita dapat membandingkannya dengan label kebenaran, a. k. A.
‫label dalam kumpulan data uji mengapa.
‫Jadi mari kita lakukan itu.
‫Baiklah, catatan di sini untuk membuat perbandingan dan mengevaluasi model terlatih kami.
‫Pertama, kita perlu membuat prediksi.
‫Jadi yang akan kita lakukan adalah membuat prediksi dengan model yang disetel dan ada fungsi indah yang disebut prediksi yang bisa kita gunakan untuk itu,
‫jadi kita simpan di why parades?
‫Kami menggunakan G S. Log Regg, yang hanya merupakan versi kereta dari model pencarian grid kami, Segers Log.
‫Regg, jangan memprediksi.
‫Dan kami akan memprediksi pada data uji mengapa.
‫Hebat.
‫Dan mari kita lihat mereka hanya untuk memastikan kita tidak menjadi cantik gila.
‫Dan sekarang kita perlu membandingkannya dengan kumpulan data uji.
‫Jadi kita lihat ini di sini.
‫Oke, jadi jika kita ingin menjadi nol nol, kita bisa tahu bahwa yang ini salah.
‫Apakah itu seharusnya menjadi nol di sana?
‫Karena ini adalah label kebenaran dan kemudian kita bisa terus melewatinya, tapi kita tidak akan melakukan
‫itu.
‫Kami ingin menggunakan beberapa kode untuk melakukan itu.
‫Hal pertama yang pertama, kami ingin rock curve karena ingat bahwa kami punya daftar kecil ini,
‫kurva upstroke dan sekolah AUC.
‫Hmm.
‫Apa itu kurva batu?
‫Nah, jika kita melihat ke atas dan apa itu lekukan batu.
‫Kami melalui proses pemahaman A. S. Rockhead, jadi jika kita membaca ini.
‫Apa yang akan kita dapatkan adalah batu dibuat dengan memplot tingkat positif yang sebenarnya terhadap tingkat positif palsu
‫di berbagai pengaturan ambang batas.
‫OK Cantik.
‫Jadi mari kita lihat bagaimana kita melakukannya, kurva batu adalah cara untuk memahami bagaimana kinerja model
‫Anda dengan membandingkan tingkat positif sejati dengan positif palsu.
‫Benar.
‫Dan jika kita ingin mengetahui apa itu true positive dan false positive, kita dapat melihat matriks
‫kebingungan kita untuk itu.
‫Jadi model positif sejati memprediksi satu ketika kebenarannya satu dan positif palsu hanya memprediksi satu ketika
‫kebenaran seharusnya nol.
‫Dan model yang sempurna akan menarik perhatian, Anda lihat sekolah, apa yang kita lihat dalam 1 detik. 0.
‫Jadi mari kita lihat bagaimana kita melakukannya.
‫Jadi impor fungsi kurva RISC dari Escalon, dot matrix.
‫Dari situlah.
‫Di situlah ia hidup.
‫Tapi kami sebenarnya sudah melakukan ini, seperti semua fungsi Skyland lainnya yang telah kami gunakan di
‫bagian atas.
‫Kembali ke atas sini.
‫Jadi ini adalah evaluasi model sekarang di bagian selanjutnya ini.
‫Video berikutnya, kita akan membahas semuanya dari sini.
‫Jadi ini yang bisa kita lihat di sini kita punya pengacak pencarian grid, kurva plot matriks kebingungan yang
‫akan kita gunakan catatan sekolah presisi, sekolah, EF1, sekolah.
‫Jadi ini untuk model klasifikasi kami.
‫Jadi mari kita turun.
‫Kita dapat menyimpan sendiri sebaris kode, kita sebenarnya tidak perlu mengimpornya.
‫Kita akan segera kembali ke sini, kita bisa membuat plot kurva Roc.
‫Sekarang, ini adalah tambahan yang relatif baru untuk perpustakaan baris kedua ini, yang saya sangat,
‫sangat senang, karena biasanya Anda harus menulis ini pada disfungsi Anda sendiri, kurva plot ini, dan menghitungnya benar-benar
‫menghitung U. S. metrik bagi kami.
‫Jadi area di bawah metrik kurva, mari kita lihat aksinya dan kemudian plot kurva.
‫G. S. Law, Greg, dan jika kita melihat ini dalam
‫dokumentasi dan akan memberi tahu kita apa yang dilakukannya parsad, perkiraan yang merupakan model pembelajaran mesin kita pada karakteristik operasi penerima plot X persen Y,
‫a. k. A. Kurva Roc.
‫Itulah yang akan dilakukan untuk kita.
‫Hal-hal indah seperti pengujian Wragg X dan kami ingin melakukannya pada kumpulan data pengujian.
‫Selalu evaluasi.
‫Ini harus dihitung, selalu evaluasi model pembelajaran mesin Anda dalam kumpulan data pengujian dan mari kita lihat.
‫Oh cantik.
‫Oke, jadi ingat kurva sempurna yang kita lihat di video sebelumnya.
‫Kami naik ke sudut ini dan kemudian menyeberang seperti itu, tetapi Elstein naik dengan cukup baik dan kami mendapatkan area di
‫bawah kurva.
‫Jadi jika kita menghitung semua area ini di bawah nol koma sembilan tiga, tentu saja model yang sempurna akan
‫mencapai 1. 0 sebagai model kami.
‫Tidak sempurna, tapi itu adalah skor tindakan nol koma sembilan tiga ketika rata-rata adil.
‫Melempar koin pada dasarnya akan menjadi nol koma lima, jadi kami mendekati model yang sempurna, tidak buruk untuk
‫model yang baru saja keluar dari kotak.
‫Baiklah.
‫Hal berikutnya yang ingin kami lakukan.
‫Ini adalah matriks kebingungan, jadi katakanlah matriks kebingungan, bagaimana kita bisa melakukannya?
‫Jadi saya pikir garis memiliki fungsi dan saya rasa saya tidak tahu socket.
‫Ini memiliki fungsi.
‫Kita bisa bingung, matriks, dan kita ingin membandingkan level pasukan darat dengan level yang diprediksi.
‫Oke, saya bisa membiarkannya seperti itu.
‫Itu agak hambar.
‫Kami dapat meningkatkan visualisasi matriks kebingungan ini menggunakan.
‫Seabourne, itu yang Anda inginkan.
‫Jadi kami ingin pergi.
‫Saya yakin kita sudah memiliki Seabourne di sini.
‫Ya, melakukan S. A. S. , ya, kami lakukan.
‫Jadi kami sudah pernah berlayar sebelumnya dalam proyek ini sehingga kami bisa pergi.
‫Apa yang mungkin saya lakukan adalah saya tahu sebelumnya bahwa kita membutuhkan ukuran font yang lebih besar.
‫Ukuran font sama dengan satu koma lima.
‫Itu hanya tidak diatur.
‫Dan kami akan membuat sedikit fungsi di sini jika kami ingin membuat
‫matriks kebingungan lain karena fungsi matriks kebingungan cyclone tidak sempurna karena membuat video ini selalu mungkin itu
‫adalah kesempatan untuk permintaan tarik.
‫Jadi kita pergi ke sini.
‫Bagus dan sederhana, jadi kami hanya akan menempatkan tes al fungsi ini.
‫Label dan label prediksi kami, dan kemudian kami akan membuat plot yang terlihat
‫bagus, matriks kebingungan yang terlihat bagus menggunakan seaboard, kami telah melihat ini sebelum peta ketinggian.
‫Hebat.
‫Jadi kita punya X besar sama dengan T dot subplot, ukuran besar sama dengan tiga tiga o akhir shift untuk memicu bahagia lagi X
‫sama dengan peta panas yang jahat.
‫Hebat.
‫Kami akan menempatkan matriks kebingungan situs fungsi garis psikis.
‫Mengapa tes.
‫Mengapa Fred.
‫Dan kemudian kami ingin menambahkan di sini dan tidak memberi anotasi, ya, tolong, anotasi sama dengan benar.
‫Dan kita akan pergi ke bar karena kita tidak ingin Colaba, karena saya
‫telah melihat Taliban, itu tidak terlihat terlalu bagus pada kotak penalti.
‫Dapat diandalkan.
‫Dan kemudian kita akan mengajukan mengapa bertanggung jawab, akan menjadi fitnah yang diprediksi dan mari kita lihat.
‫Jadi kita punya banyak kebingungan matematika.
‫Matrixx, mengapa tes?
‫Mengapa parade?
‫Oh, apa yang telah kita lakukan, ukuran font?
‫Karung Fonzi itu salah.
‫Apa skala O ini?
‫Hei, kami punya tab.
‫Apa yang bisa saya mainkan adalah klasik dan itu memberi kita hal kecil ini
‫di sini sehingga kita bisa memperbaikinya, saya percaya, dengan naik ke atas karena x tidak mengerti mengapa limn.
‫Ya.
‫Dan kemudian kami ingin pergi X dot set Wiliam.
‫Buatlah sedikit cantik, Whilom, dan itu akan menjadi titik terbawah terakhir lima teratas dikurangi nol koma lima.
‫Sekarang, tentu saja, jika Anda bingung, Matrix keluar dengan baik, Anda mungkin tidak memerlukan garis-garis ini,
‫tetapi itu tidak masalah.
‫Di sana kita pergi.
‫Kami mungkin terlihat sedikit lebih baik.
‫Jadi Anda dapat melihat bahwa model menjadi bingung.
‫Jadi prediksi label yang salah relatif sama di kedua kelas.
‫Jadi intinya, ada empat kesempatan di sini di mana model diprediksi nol.
‫Label prediksi jadi memprediksi seseorang tidak mengidap penyakit jantung padahal seharusnya sudah diprediksi sebagai penyakit
‫jantung.
‫Jadi itu negatif palsu.
‫Jadi ini memprediksi nol, bukan satu, negatif palsu.
‫Ingat, saat kita kembali ke sini, model negatif palsu memprediksi nol ketika kebenaran dimenangkan.
‫Dan di sini adalah positif palsu.
‫Jadi, oke, kita punya tiga contoh di sini di mana seorang model memprediksi, satu, seseorang memang memiliki penyakit
‫jantung padahal sebenarnya tidak.
‫Dan Anda dapat melihat bahwa ini adalah kedua hal yang ingin kami hindari.
‫Benar.
‫Terutama ketika memikirkan sesuatu yang separah atau seserius penyakit jantung, bahkan memprediksi kapan itu
‫tidak ada.
‫Jadi di sini, jika kita memprediksi nol, maka tidak ada penyakit ketika itu hadir.
‫Oke, itu buruk.
‫Tetapi juga memprediksi bahwa itu ada ketika itu tidak benar-benar ada, itu juga buruk.
‫Jadi itu adalah sesuatu yang ingin Anda pertimbangkan saat Anda membuat model jenis ini.
‫Apakah negatif palsu lebih buruk atau positif palsu lebih buruk?
‫Dan sekali lagi, model yang sempurna tidak akan memiliki semua ini.
‫Namun pada kenyataannya, Anda mungkin akan mengalami semacam kebingungan di sini dengan model Anda.
‫Anda tidak akan idealnya, ini akan menjadi sempurna di sini, di seberang garis.
‫Sekarang, kami telah melakukan matriks kebingungan.
‫Kami punya itu di sana.
‫Kita bisa membaginya dengan bos kita.
‫Kita bisa membaginya dengan bos rocker kita di sana.
‫Apa berikutnya?
‫laporan klasifikasi?
‫OK, dan akan sangat bagus jika validasi silang digunakan jika memungkinkan.
‫Baiklah, jadi itu yang bisa kita bahas di video berikutnya.