‫Sekarang, kita baru saja membahas akurasi sebagai metode untuk mengevaluasi model klasifikasi kita, dan Anda mungkin berpikir,
‫mengapa kita tidak berhenti begitu saja?
‫Nah, saat kita mulai membahas metrik lainnya di sini, Anda akan mulai memahami mengapa penting untuk
‫mendapatkan beberapa metrik evaluasi yang berbeda di papan tulis daripada hanya akurasi.
‫Dalam kasus saya, ketika saya pertama kali belajar bagaimana membangun model klasifikasi, saya selalu berpikir, ya, akurasi
‫yang lebih tinggi lebih baik.
‫Benar?
‫Dan kemudian perlahan, setelah melihat contoh yang berbeda, saya mulai menyadari, Oke, sekarang saya
‫melihat manfaat menggunakan metrik lain seperti ini, tapi jangan membicarakannya.
‫Mari kita lihat dalam tindakan.
‫Selanjutnya yang akan kita bahas adalah area di bawah receiver yang beroperasi sehingga area di bawah
‫kurva karakteristik pengoperasian receiver.
‫Hal yang indah itu juga dikenal sebagai U. S. Jadi daerah di bawah kurva atau ossy.
‫Jadi karakteristik operasi penerima.
‫Jadi mari kita lakukan kurva RRC ini.
‫Jadi ini adalah dua hal yang akan Anda perhatikan.
‫Area di bawah kurva atau kurva batuan.
‫Saya akan meletakkannya di sini.
‫Apakah Anda melihat atau.
‫Rakove, cantik, jadi jika Anda mendengar seseorang berbicara tentang AUC atau ARACY atau Rock atau semacamnya, mereka mungkin membicarakan
‫metrik ini di sini.
‫Sekarang, apa yang diukur oleh kurva batu?
‫Nah, menurut definisi formal, kurva batu adalah perbandingan tingkat positif sejati model versus positif
‫palsu model.
‫Benar.
‫Mari kita tuliskan itu.
‫Berikut adalah perbandingan tingkat positif sejati model, yang juga dikenal sebagai TPA versus positif palsu
‫model.
‫Benar.
‫Yang juga dikenal sebagai FPO.
‫Sekarang, Anda mungkin bertanya-tanya, OK, apa yang benar, positif dan apa itu positif palsu?
‫Nah, mari kita lihat di sini.
‫Model elang positif sejati memprediksi satu ketika kebenaran adalah salah satu yang masuk akal.
‫Jadi dalam kasus kita, jika kita lihat di sini, jika target sebenarnya adalah satu atau nol, positif sejati adalah ketika model
‫kita memprediksi satu.
‫Label sebenarnya adalah satu.
‫Oke, ya, itu masuk akal.
‫Jadi jika kita pergi ke sini, positif palsu adalah model memprediksi satu ketika kebenaran adalah nol.
‫Jadi mengapa disebut positif palsu.
‫Yah itu karena itu memprediksi satu.
‫Jadi golongan positif mengidap penyakit jantung padahal sebenarnya nol.
‫Jadi itu memberi kita perasaan positif palsu bahwa seseorang mungkin memiliki penyakit jantung dalam kasus khusus
‫kami untuk masalah klasifikasi penyakit jantung.
‫Dan kemudian jika kita pergi ke sini, benar-benar negatif.
‫Model Google memprediksi nol ketika kebenaran adalah nol.
‫Jadi itu masuk akal.
‫Sehingga model prediksi tersebut mendapatkan prediksi yang tepat.
‫Ada yang memprediksi seseorang tidak memiliki penyakit jantung padahal sebenarnya tidak.
‫Itu keren.
‫Dan kemudian prediksi model sama dengan negatif palsu.
‫Menurut Anda apa yang akan terjadi?
‫Salah, negatif.
‫Kami melihat positif palsu.
‫Negatif palsu adalah ketika model memprediksi nol ketika kebenaran dimenangkan.
‫Jadi itu karena memprediksi bukan penyakit jantung padahal sebenarnya penyakit jantung kan?
‫Jadi sekarang kita tahu ini kita dapat melihat bahwa kurva batu adalah perbandingan positif sejati model.
‫Benar.
‫TPA versus kesalahan ketik di mana-mana.
‫Dan Anda akan datang, ini adalah positif palsu model, benar.
‫Atau fpr.
‫Jadi sekarang kita tahu ini.
‫Mari kita lihat aksinya sehingga kita bisa melakukan ini dengan menggunakan Saikat Loans Metrics Library, kita akan mengimpor kurva
‫mengatakan lihat Rakove kurva kita dan kemudian kita akan membuat prediksi dengan probabilitas.
‫Dan bagaimana kita bisa membuat prediksi dengan probabilitas.
‫Kami melihat ini dalam membuat prediksi.
‫Kita bisa melakukannya dengan mengapa prob sama dengan prediksi tebing linggis untuk probabilitas.
‫Kami akan membuat beberapa prediksi pada data uji.
‫Sekarang, saya hanya ingin memastikan mungkin kita melakukannya saat kita membuat.
‫Buat uji X hanya untuk memastikan itu uji X yang benar, uji data X.
‫Dll. , Jadi kami ingin pergi ke sini X kereta, tes X.
‫Mengapa melatih, mengapa kendaraan uji kereta api untuk membagi ukuran x Y sama dengan nol koma dua, luar biasa.
‫Jadi sekarang kita bisa melakukannya di sana, karena kurva batu adalah perbandingan tingkat positif sejati model versus
‫positif palsu model, benar.
‫Kami hanya ingin mempertahankan kelas positif.
‫Jadi sebenarnya, mari kita lihat apa yang kita probs.
‫Sepertinya masalah saya.
‫Mengapa ini tidak berhasil?
‫Apa yang kita dapatkan di sini?
‫Klasifikasi hutan hujan ini belum dipasang.
‫Panggilan cocok.
‫Oh, itu masuk akal.
‫Jadi kami ingin.
‫Pengklasifikasi, tentu saja, Anda tidak dapat membuat prediksi tanpa menyesuaikannya, tanpa model yang mempelajari pola
‫apa pun.
‫Jadi kami akan menyesuaikannya di sini, lalu kami akan membuat beberapa prediksi dan kami akan melihat ini, mungkin
‫hanya 10 yang pertama.
‫Jadi kami tidak mengambil ruang orang-orang kami.
‫OK Cantik.
‫Dan karena kurva kemerahan kami.
‫Hanya perbandingan tingkat positif sejati model versus tingkat positif palsu, kami hanya ingin probabilitas yang
‫diprediksi model untuk kelas positif.
‫Jadi jika Anda membayangkan di sini model kami mencoba memprediksi nol atau satu.
‫Ini adalah probabilitas bahwa labelnya adalah nol.
‫Dan ini adalah probabilitas bahwa labelnya adalah satu dan seterusnya untuk semua sampel ini sampai
‫habis.
‫Jadi akan ada banyak yang di set tes di sini.
‫Enam puluh satu akan menjadi enam puluh satu dari mereka.
‫Jadi pada dasarnya apa yang kita inginkan adalah mengapa probs positif?
‫Jadi ini adalah probabilitas bahwa kelas positif bertindak nol adalah kelas negatif dan satu
‫adalah kelas positif, mengapa masalah akan menggunakan beberapa irisan di sini, tetapi hanya kolom satu dari setiap baris
‫sehingga kita dapat melakukannya.
‫Agar Anda tahu, apa yang terjadi, positif.
‫Dan kita hanya akan melihat Hanigan pertama.
‫Jadi ini masuk akal, kita mendapatkan nol koma empat tiga ya, nol koma tujuh tujuh ya, nol koma empat
‫delapan seterusnya, seterusnya dan seterusnya untuk seluruh daftar mengapa masalah.
‫Dan sekarang kita dapat menghitung FBAR dan Threshold.
‫Jadi untuk Eagles, Teper Threshold, mengapa saya tahu ini akan segera terlihat?
‫Mengapa saya tahu bahwa ini akan menjadi kurva ROC ambang batas karma komentar fpr?
‫Kami akan melewatinya.
‫Mengapa tes dan mengapa Rob positif.
‫Sekarang, bagaimana Anda mencari tahu apa cinta rock kembali dalam kasus ini?
‫Nah, apa yang akan saya lakukan adalah tab yang menindas dan ini adalah bagaimana saya tahu.
‫Jadi kami mendapatkan kurva Roc.
‫Dibutuhkan y.
‫Benar.
‫Jadi itulah label pengujian kami.
‫Dibutuhkan skor Y.
‫Jadi itu y kami probs positif.
‫Dan jika kita turun ke sini, hitung karakteristik pengoperasian receiver.
‫Ya.
‫Cantik sekarang parameter.
‫Mengapa benar, mengapa skor target skor dapat berupa perkiraan probabilitas dari nilai kepercayaan kelas positif
‫atau ukuran non ambang keputusan.
‫Jadi itulah perkiraan probabilitas dari kelas positif.
‫Dari situlah kami mendapatkan potongan ini.
‫Benar.
‫Dan kemudian jika kita turun ke sini, itu akan memberi tahu kita apa pengembalian kita, meningkatkan
‫tingkat positif palsu, sehingga elemen AI adalah tingkat prediksi positif palsu dengan skor di atas ambang batas TPA.
‫Jadi itu tingkat dan ambang batas positif yang sebenarnya.
‫Jadi begitulah cara kita mengetahui apa yang dikembalikan oleh suatu fungsi.
‫Dan lagi, itu hanya melihat string di buku catatan Mesir.
‫Anda selalu dapat melihat dokumentasi untuk ini.
‫Jika Anda ingin melakukannya, Anda mungkin mencari sesuatu seperti cara menghitung kurva Roc sehingga saya bisa belajar.
‫Jadi kita akan memeriksa memeriksa tingkat positif palsu.
‫FPA cantik.
‫Jadi itu memberi kita array besar.
‫Tapi melihat ini sendiri tidak terlalu masuk akal.
‫Jauh lebih mudah untuk melihatnya secara visual.
‫Dan karena saya getline tidak benar-benar memiliki fungsi bawaan untuk memplot kurva batu, yang mungkin harus kita lakukan adalah
‫dan Anda cukup sering menemukan ini dengan benar, apakah Anda harus menemukan fungsi atau menulis fungsi Anda
‫sendiri.
‫Itu akan melakukannya untuk Anda.
‫Jadi itulah yang akan kita lihat di video berikutnya akan plot kurva batu.
‫Dan fungsi ini di sini, Kurva ROC akan mulai sedikit lebih masuk akal daripada hanya menjadi array
‫angka.