‫Luar biasa.
‫Kami telah melihat cara cepat mengetahui bagaimana model pembelajaran mesin kami melakukan
‫dan mengevaluasinya menggunakan metode skor, dan itu akan mengembalikan metrik evaluasi default
‫tergantung pada masalah yang kami kerjakan dalam regresi, pengembaliannya, koefisien determinasi dan dalam klasifikasi, ia mengembalikan
‫akurasi utama.
‫Namun, ketika Anda masuk lebih jauh ke dalam masalah, sepertinya Anda ingin mulai menggunakan beberapa metrik yang lebih
‫kuat untuk mengevaluasi kinerja model Anda.
‫Dan tentu saja, langkah selanjutnya dari menggunakan skor adalah menggunakan parameter penilaian khusus.
‫Jadi jika kita lihat di sini, kita telah melihat perkiraan yang satu ini, metode skor,
‫dan sekarang kita akan melihat menggunakan parameter penilaian, alat evaluasi model, menggunakan validasi silang, atau kita mungkin harus melihat apa
‫itu adalah.
‫Jadi mari kita menyelam ke dalamnya.
‫Apa yang akan kita lakukan adalah menyelesaikan ini.
‫Sekarang, Anda harus bersabar dengan saya untuk beberapa video berikutnya karena kita akan membahas sedikit di sini.
‫Alasannya adalah karena mengevaluasi model pembelajaran mesin adalah langkah yang sangat penting.
‫Memanggil fungsi fit pada beberapa data adalah satu hal, tetapi hal terpenting berikutnya adalah, hei, apakah
‫model itu benar-benar berfungsi?
‫Apakah itu belajar sesuatu?
‫Bisakah kita menggunakannya untuk memprediksi di masa depan?
‫Dan itulah mengapa memastikan bahwa kami mencakup banyak hal di sini.
‫Jadi mari kita mulai.
‫Apa yang akan kita lakukan adalah pergi dari Escalon, tidak memilih model, mengimpor skor Crosswell.
‫Dan seperti biasa, kita akan menjalankan kodenya terlebih dahulu sebelum menyelami apa yang sebenarnya terjadi.
‫Dan yang kita butuhkan adalah beberapa kode klasifikasi.
‫Jadi apa yang akan kita lakukan, kita bisa menyalin ini.
‫Omong-omong, Anda diizinkan untuk menyalin ini, karena kami telah menulis beberapa kali sekarang.
‫Jadi satu-satunya hal yang berbeda di sini dari apa yang telah kami lakukan adalah kami telah mengimpor skor Crossville dari pemilihan
‫model pinjaman Saikat.
‫Sekarang, hal selanjutnya yang akan kita lakukan karena kita telah memanggil fit disana, ingin menempatkan titik koma sedikit agar
‫kita tidak mendapatkan output yang besar.
‫Kamu tahu apa?
‫Peringatan ini terus muncul, jadi kami mungkin terus mengubahnya dan memperkirakan sama dengan 100.
‫Luar biasa.
‫Jadi skor Crossville, ada skor kata di dalamnya, tapi kita telah melihat apa yang dilakukan Crossville ini?
‫Nah, mari kita lihat seperti pergi melihat skor kami.
‫Kami akan melakukan data pengujian terlebih dahulu sehingga kami dapat membandingkan dan kemudian kami akan melakukan hal yang sama.
‫Tapi kali ini, menggunakan Skor Crossville, Skor Crossville, dan Skor Crossville mengambil pengklasifikasi kami.
‫Dibutuhkan data X dan dibutuhkan data Y, bukan tes.
‫Dan bukan kereta api.
‫Kita akan melihat apa yang terjadi dalam satu detik.
‫Oh, apa yang terjadi di sini dan lagi, kami mendapatkan peringatan lain, ini hanya untuk mengatakan bahwa
‫nilai default C. V akan berubah dari tiga menjadi lima.
‫Jadi jika kita melihat tab shift ini.
‫Mari kita membaca doktrin, mengevaluasi skor dengan validasi silang apa itu validasi silang, dan
‫seterusnya C. V akan memberi kita peringatan.
‫Dari sinilah peringatan itu berasal.
‫Jika kita mengubah ini dari C. V Eagles', defaultnya adalah tiga.
‫Jika kita mengubahnya menjadi lima, peringatan itu akan hilang dan kemudian kita akan mendapatkan larik kembali dari
‫lima skor yang berbeda.
‫Hmm.
‫Jadi itu mungkin perbedaan pertama yang akan Anda perhatikan.
‫Skor Crossville mengembalikan array, sedangkan skor hanya mengembalikan satu nomor.
‫Oke, jadi bagaimana kita bisa mengetahuinya?
‫Kita perlu mencari tahu apa itu validasi silang karena, bagaimanapun, apa yang dilakukan Crossville
‫Score, kembali ke string dock.
‫Evaluasi skor dengan validasi silang sial.
‫Inilah sesuatu yang saya persiapkan sebelumnya untuk diperlihatkan, dan seperti biasa, saya memahami semuanya dengan lebih baik secara visual.
‫Anda dapat melakukan hal yang sama untuk mendemonstrasikan apa yang dilakukan validasi silang.
‫Jadi apa yang telah kami lakukan sebelumnya dalam uji bidai latihan normal kami, jadi kami membagi data kami menjadi pelatihan sehingga
‫ini bisa menjadi penangguhan.
‫Kami memulai dengan 100 catatan pasien.
‫Kami akan membaginya menjadi training split.
‫Dalam kasus kami, kami telah menggunakan 80 persen dan ini akan berisi sampel X train dan Y train 80.
‫Dan saya telah menggunakan nomor 100 di sini.
‫Kami benar-benar punya lebih dari itu.
‫Tapi ini hanya karena angka-angka bekerja secara visual lebih baik di sini.
‫Dan dalam kumpulan data pengujian kami, kami memiliki 20 persen data yang akan berisi uji X dan uji Y.
‫Sekarang, perbedaannya di sini dengan validasi silang dan dalam kasus kami, gambar ini di sini menunjukkan validasi silang lima
‫kali lipat.
‫Apa yang mungkin Anda lihat adalah validasi silang yang dirujuk adalah K fold, di mana K adalah angka arbitrer.
‫Dan alasan mengapa kami menggunakan lima adalah karena kami kembali ke sini.
‫C. V sama dengan lima di sana.
‫Jadi itu singkatan dari validasi silang.
‫Dan inilah yang saya bicarakan, membagi data kami menjadi pelatihan dan pengujian menggunakan 20 persen untuk
‫situs pengujian.
‫Jadi itu berarti secara alami 80 persen lainnya masuk ke data pelatihan, dari situlah pemisahan kecil
‫ini berasal.
‫Sekarang, apa yang dilakukan validasi silang adalah ia melakukan lima pemisahan yang berbeda, jadi ia akan menggunakan 20 persen pertama.
‫Jadi Anda lihat bagaimana ini menggunakan tabel terakhir, 20 persen di sini.
‫Jadi itu akan membuat kumpulan data uji di sini dan kumpulan data pelatihan di sini.
‫Lalu saya akan pindah ke sini dan menggunakan ini sebagai dataset pengujian dan kemudian lagi.
‫Dan lagi dan lagi.
‫Jadi yang terjadi adalah validasi silang melatih lima versi model yang berbeda dan kemudian mengevaluasi bahwa
‫model tersebut dilatih pada setiap data pelatihan pada lima versi berbeda dari data uji.
‫Jadi apa tujuan dari ini?
‫Seperti yang dapat Anda bayangkan, jika kita hanya melatih satu model, itu bisa menjadi keberuntungan seperti, katakanlah, ini, 80 persen
‫baris mengatakan bahwa memiliki banyak informasi dalam model, dapat belajar dengan sangat baik pada
‫delapan puluh baris ini, pada 80 catatan pasien ini.
‫Dan kemudian mendapat skor yang sangat bagus di set tes ini.
‫Apakah itu cerminan yang benar tentang bagaimana model kita akan memahami data atau mengetahui pola dalam
‫data?
‫Yah, tidak benar.
‫Karena itu hanya keberuntungan, bukan?
‫Jika kita hanya membagi ini secara acak dan entah bagaimana sekelompok catatan pasien yang mudah telah sampai di sini dan
‫model menemukan pola tertentu dan itu pergi ke sini.
‫Kumpulan data tes ini dan mencetak skor yang luar biasa.
‫Kita bisa menipu diri kita sendiri.
‫Kita bisa saja membodohi diri sendiri dengan berpikir bahwa model kita jauh lebih baik daripada yang sebenarnya.
‫Jadi di situlah validasi silang berperan.
‫Ini bertujuan untuk memberikan solusi untuk tidak melatih semua data dan menghindari mendapatkan skor keberuntungan hanya
‫pada satu pemisahan data sehingga akan membuat lima pemisahan yang berbeda.
‫Jadi, apa pun yang terjadi, model kami akan melatih semua data dan mengevaluasi semua
‫data.
‫Dan inilah mengapa jika kita kembali.
‫Untuk melihat skor Crosswell, itu sebabnya ini memberi kami lima skor berbeda di sini.
‫Oh, jadi itu mulai masuk akal jika kita memanggil parameter skor hanya pada data pengujian kita.
‫Dan sekarang mengapa data tes akan mengembalikan satu sekolah.
‫Tetapi jika kita menyebut skor Crossville karena kita merujuk kembali ke grafik di sini, itu akan membuat lima pembagian
‫yang berbeda.
‫Dan ingat, Lima kali lipat hanyalah angka yang berubah-ubah.
‫Anda bisa melakukan sepuluh kali lipat, Anda bisa melakukan tiga kali lipat.
‫Anda bahkan bisa melakukan 100 kali lipat.
‫Tapi lima kali lipat adalah default perpustakaan.
‫Biasanya cukup bagus, tergantung pada ukuran data Anda.
‫Jadi kita akan menggunakan Five-fold untuk menunjukkan di sini.
‫Untuk membuktikannya padamu, kita bisa masuk ke sini, Crosswell School dan melakukan 10.
‫Jadi ini berarti hanya akan membuat sepuluh split yang berbeda, persis sama seperti ini.
‫Dan kemudian kembalikan 10 skor berbeda.
‫Jadi Anda katakan di sini, ini adalah contoh yang bagus pada split satu, itu harus mencetak poin sembilan.
‫Jadi bisa 90 persen, yang lebih tinggi di sini.
‫Tetapi pada split yang lebih ringan, ada sesuatu yang jauh lebih rendah, 72.
‫Jadi apa yang kami lakukan di sini adalah untuk mengetahui metrik kinerja atau metrik evaluasi yang lebih ideal untuk model
‫kami adalah bahwa kami dapat mengambil rata-rata dari lima skor ini.
‫Mari kita lihat itu terjadi.
‫Kami akan melakukan semuanya dalam satu sel, benih acak.
‫Dan apa yang akan kita lakukan adalah mendapatkan satu pelatihan dan nilai ujian.
‫Saya akan memastikan saya melihat satu skor dan pergi melihat saya meninggalkan tes Sekolah X.
‫Ini akan menggunakan data yang sama di sini.
‫Mengapa tes?
‫Luar biasa.
‫Dan kemudian kita akan mengambil sekolah validasi silang Mane of Five-fold.
‫Cukup lintas sekolah sama dengan ENPI utama, maka kita perlu lintas sekolah X, oh tidak, kita harus lulus.
‫Pengklasifikasi kami X, Y dan kami menggunakan CV sama dengan lima dan kemudian.
‫Bandingkan keduanya.
‫Jadi kita akan melihat single live.
‫Skor dan kemudian skor Silver Cross Valley.
‫Jadi apa yang kita lihat di sini?
‫Nah, dalam kasus kami.
‫Skor tunggal asli kami, yang sekarang ada di sini, adalah angka yang sama persis,
‫karena kami menggunakan benih acak, menggunakan data uji yang sama, skor tunggal kami adalah nol koma delapan lima.
‫Tetapi ketika kami menggunakan validasi silang, ketika kami menggunakan lima split karena S. V sama dengan lima, kita mendapatkan skor
‫titik delapan dua.
‫Jadi sedikit lebih rendah.
‫Namun dalam kasus ini, jika Anda diminta untuk melaporkan keakuratan model Anda, meskipun
‫lebih rendah, Anda lebih memilih metrik validasi silang daripada metrik non-validasi silang.
‫Sekarang tunggu, kami bahkan belum menggunakan parameter penilaian sama sekali.
‫Yah, itu karena secara default, disetel ke none.
‫Mari kita lihat parameter penilaian disetel ke none.
‫Secara default, ini adalah rekor kehidupan laut sekolah Crossville, x, y CV, kami dapat melewati penilaian di sini dan itu akan dikatakan tidak
‫ada.
‫Jadi jika kita melakukan pergeseran ini, bagaimana saya tahu ini?
‫Nah, untungnya, pengobatannya berguna.
‫C secara default, disetel ke none.
‫Jadi jika kita terus menggulir ke bawah.
‫Mungkin notebook kami, jadi mencetak string yang dapat dipanggil tidak ada, default opsional, tidak ada.
‫Oh, OK, string lihat dokumentasi evaluasi model.
‫Itulah yang harus kita cari di sini.
‫Atau fungsi objek global Sakurako dengan skor tanda tangan, perkiraan x Y,
‫yang seharusnya hanya mengembalikan satu nilai jika tidak ada, perkiraan adalah pencetak skor default jika tersedia digunakan.
‫Oke.
‫Sekarang, inilah mengapa kita tahu bahwa ini adalah akurasi, karena jika parameter skor
‫dari skor Crossville tidak ada, ia menggunakan parameter penilaian default dari perkiraan kita dalam kasus kita.
‫Apa itu?
‫Parameter penilaian kesalahan akurasi rata-rata classifier eagles dan di mana kita melihatnya sebelumnya?
‫Kami melihat bahwa di video terakhir ketika kami meninggalkan sekolah dan kami menekan tombol shift kembali berarti akurasi pada memberi dan
‫menguji data dan label.
‫Jadi itu berarti ketika skor kita disetel ke none, itu akan menggunakan metrik evaluasi default untuk
‫validasi silang pada classifier kita.
‫Jadi jika kita menekan shift dan enter.
‫Akan mengembalikan nilai yang sama atau mungkin sedikit berbeda, kan, karena kita belum menyiapkan tempat
‫duduk di sel ini.
‫Jadi nilai-nilai ini akan berbeda dengan sekolah Crossville yang kita lihat di luar sana.
‫Jika kita menjalankannya di sini, kita akan melihat nilai yang sama.
‫Apa yang telah kita bahas di sini?
‫Nah, seperti yang mungkin sudah Anda duga, parameter penilaian dapat diubah, benar, jadi kita bisa, seperti yang dikatakan
‫psikiater, kita bisa mengimpor parameter penilaian kita sendiri di sini.
‫Kita bisa mengubah ini menjadi sesuatu selain tidak sama sekali.
‫Itulah yang akan kita mulai bahas dan kita akan lihat
‫di beberapa video berikutnya, beberapa metrik evaluasi model klasifikasi lain yang dapat kita gunakan dengan validasi silang.
‫Jadi mengapa kami menggunakan validasi silang?
‫Nah, seperti yang kita lihat.
‫Pada gambar, validasi silang bertujuan untuk menyelesaikan masalah tidak pelatihan pada semua data, bukan?
‫Jadi kami membuat lima model dan kami akhirnya memiliki model yang dilatih pada semua data dan menghindari mendapatkan
‫skor keberuntungan.
‫Jadi berlatih dalam satu split dan kami melihatnya beraksi.
‫Dengan skor split tunggal kami di sini mendapatkan skor yang sedikit lebih tinggi daripada skor validasi silang kami.
‫Nah, itu hukum sekarang.
‫Kami masih punya sedikit lagi untuk pergi.
‫Mari kita lakukan beberapa metrik klasifikasi mendalam.
‫Sampai jumpa di video selanjutnya.