‫Selamat datang kembali.
‫Dan video terakhir kami melihat bagaimana kami dapat menggunakan metode prediksi untuk membuat prediksi tanpa
‫model pembelajaran mesin, model pembelajaran mesin yang dilengkapi pada model regresi atau estimasi regresi seperti dalam terminologi
‫pembelajaran psikis.
‫Jadi mari kita periksa kembali dengan apa yang kita liput, apa yang kita liput.
‫Jadi kami telah melakukan nol satu sampai tiga.
‫Kami telah membuat beberapa prediksi pada data kami karena itulah tujuan akhir dari pembelajaran mesin yang
‫benar adalah untuk membuat semacam prediksi.
‫Kami memiliki beberapa data yang ada.
‫Kami ingin mencoba algoritme pada data tersebut untuk menemukan pola dan menggunakan pola tersebut untuk membuat prediksi di
‫masa mendatang.
‫Jadi, tetapi sama pentingnya dengan membuat prediksi tersebut adalah mengevaluasi prediksi tersebut.
‫Jadi mari kita melompat ke dalamnya.
‫Saya akan menulis judul baru di sini.
‫Punya 4. 0 mengevaluasi model pembelajaran mesin.
‫Alasan kami mengevaluasi model kami adalah karena kami membangun model untuk memprediksi sesuatu, dan kemudian kami
‫ingin memasukkannya ke dalam aplikasi.
‫Jika model kami membuat prediksi yang buruk, apakah itu akan menjadi pengalaman hebat bagi siapa saja yang menggunakan
‫aplikasi itu?
‫Mungkin tidak.
‫Jadi sebelum kami menempatkan model kami ke dalam aplikasi atau memprediksi sesuatu yang akan menjadi sangat kritis,
‫kami ingin mengevaluasi prediksi yang ada yang kami bisa.
‫Jadi dengan Typekit belajar ada tiga cara untuk mengevaluasi dengan baik, tiga cara bawaan Anda dapat membuat pembobotan
‫kustom Anda sendiri, tetapi tiga cara untuk mengevaluasi perkiraan garis miring model garis soket.
‫Ini adalah bagian dari pustaka baris Typekit ini.
‫Salah satunya adalah metode estimasi built in score.
‫Kami memiliki sedikit pengalaman dengan ini sejauh ini.
‫Dua adalah parameter penilaian.
‫Kami belum melihat satu parameter penilaian yang mungkin kami miliki.
‫Sebenarnya, kita telah membahas banyak hal, tetapi kita akan membahas masing-masing dan kemudian masalah fungsi
‫metrik tertentu.
‫Jadi tergantung pada pekerjaan Anda dengan klasifikasi atau regresi akan menjadi metrik evaluasi khusus untuk
‫setiap waktu masalah tersebut.
‫Dan dari mana kita mendapatkan ini?
‫Nah, ini masuk ke dalam dokumentasi pinjaman socket.
‫Ini adalah metrik, dan penilaian adalah bagian yang sangat penting.
‫Omong-omong, ini adalah kurikulum Anda yang sebenarnya.
‫Untuk membaca ini, Anda tidak perlu hafal semua ini, tetapi cukup pahami di
‫mana menemukan informasi ini.
‫Itulah bagian besar dari menjadi seorang programmer dan terutama seorang insinyur pembelajaran mesin.
‫Seorang ilmuwan data hanya mengetahui ke mana harus mencari, di mana menemukan sesuatu.
‫Jadi saya akan meletakkan ini di sini, dan saya telah mengambil tiga API yang berbeda.
‫Jadi kami memiliki metode sekolah yang diperkirakan, parameter penilaian dan fungsi metrik.
‫Mari kita mulai memecah masing-masing.
‫Hei, aku akan membawanya ke sini.
‫Dan kemudian ini saya akan menempatkan ini di sini.
‫Anda dapat membaca lebih lanjut tentang ini di sini.
‫Luar biasa.
‫Jadi mari kita rekap metode skor, dan saya akan memformat ini agar terlihat bagus dan
‫cantik.
‫Bola ke dalamnya -- indah.
‫Mari kita rekap, jadi saya akan menjelaskannya sedikit, bukan sedikit menuju ke sini.
‫Empat poin satu Kami akan mengevaluasi model dengan metode skor.
‫Ubah itu menjadi penurunan harga dan kita akan beralih dari S. K belajar ensemble import Random Forest Classifier.
‫Jadi kita akan melakukannya dengan data klasifikasi kita.
‫MP pertama, benih acak.
‫Empat puluh dua.
‫Sekarang aku menginginkanmu.
‫Saya ingin Anda memberi Anda.
‫Memberi Anda tantangan di sini.
‫Buat X dan Y
‫Saya akan meninggalkan beberapa komentar di sini.
‫Buat X dan Y
‫Buat tes kereta.
‫Jadi ini akan menjadi X sama dengan penyakit jantung, sesuatu yang kami gunakan dataset penyakit jantung kami dan kemudian
‫kami ingin buat.
‫Saya hanya akan turun di sini contoh model pengklasifikasi dan kemudian menyesuaikan pengklasifikasi ke data pelatihan.
‫Jadi itu tantangan saya untuk Anda.
‫Saya akan Anda dapat memposting video di sini dan mencoba untuk mengisi komentar ini
‫sendiri, tapi aku akan kembali dalam tiga.
‫Satu di belakang, jadi saya harap Anda mencobanya untuk mengisi ini, tetapi jika tidak, tidak apa-apa.
‫Kita akan melewatinya bersama-sama.
‫Kami telah menulis kode ini hanya di sini, dan ini adalah satu-satunya saat saya akan membiarkan
‫Anda menyalin dan menempelkan kode seolah-olah kami mendapatkan sesuatu, jika kami menulis ulang hal-hal yang telah kami tulis beberapa
‫kali sebelumnya.
‫Jadi saya akan menyalin ini.
‫Aku akan menurunkan ini.
‫Kami sedang memeriksa metode skor, itu yang pertama kami periksa, jadi mari salin tempel itu.
‫Jadi simpan acak buat data, bagi data, buat instance pengklasifikasi hutan acak.
‫Sekarang saya percaya, ya, perkiraannya adalah 100 secara default.
‫Kami hanya akan meninggalkan itu di sana.
‫Sesuaikan model dengan data pelatihan.
‫Jadi biarkan ini berjalan dengan indah.
‫Jadi kami memiliki pengklasifikasi hutan acak yang cocok.
‫Bagus dan cepat.
‫Dan sekarang bagaimana menurut Anda kita akan menggunakan metode skor?
‫Dan ini sedikit pertanyaan jebakan karena kita baru saja melihatnya di atas sebenarnya berasal dari sel tempat
‫kita menyalin semua ini.
‫Jadi mari kita coba, Cliff, jangan mencetak gol.
‫Dan bagaimana kalau kita mencoba pencetak gol pada data latihan itu 1. 0?
‫Sekarang, mengapa bisa mendapat skor 1. 0 pada data pelatihan jika kita membayangkan nilai tertinggi
‫untuk skor, omong-omong, apa?
‫Saya hanya akan menuliskan ini secara eksplisit.
‫Nilai tertinggi untuk metode skor adalah 1. 0, terendah adalah nol koma nol, jadi 1. 0.
‫Metode skor default untuk algoritma klasifikasi adalah akurasi.
‫Mengembalikan akurasi rata-rata pada data uji dan label yang diberikan.
‫Dan sekarang, tentu saja, kita harus mengubahnya menjadi persentase jika kita ingin akurasi dalam persentase.
‫Jadi 1. 0 adalah akurasi 100 persen.
‫Jadi kalau ini nol koma delapan, akurasinya 80 persen.
‫Sekarang, mengapa model pembelajaran mesin kami mendapatkan nilai sempurna 100 persen?
‫Sudahkah saya memberi tahu Anda untuk skeptis terhadap model pembelajaran mesin apa pun yang mendapat skor sempurna di mana saja?
‫Jika tidak, pertimbangkan bahwa saya memberi tahu Anda bahwa selalu skeptis terhadap metrik yang sempurna.
‫Mengapa model kami mendapatkan satu poin pada data pelatihan?
‫Yah, itu karena ia memiliki paparan semua fitur pelatihan dan semua label
‫pelatihan.
‫Jadi jika modelnya cukup kuat, maka akan mencapai skor sempurna pada data pelatihan
‫karena mampu membagi data.
‫Dalam kasus kami, itu biner nol satu.
‫Ia mampu memprediksi dari semua nilai ekstrim.
‫Ini mampu memprediksi dengan sempurna semua nilai kereta Y.
‫Sekarang mungkin skenario yang berbeda untuk hari ujian untuk diingat.
‫Itu belum melihat sampel uji.
‫Kami ingin model kami dapat belajar cukup dari fitur pelatihan dan label pelatihan untuk memprediksi sampel yang
‫belum pernah dilihat sebelumnya.
‫Itulah inti dari pembelajaran mesin, pola pembelajaran, dan data yang kami miliki untuk membuat prediksi kualitas prediksi
‫pada data yang belum pernah kami lihat sebelumnya.
‫Oh, jadi skornya sedikit lebih sedikit pada data yang tidak terlihat.
‫Sekarang ini adalah tren yang akan sering Anda lihat dalam proyek pembelajaran mesin Anda sendiri dan makalah penelitian
‫pembelajaran mesin di mana-mana.
‫Skor pelatihan biasanya kadang-kadang sedikit lebih tinggi dari skor tes, tetapi mereka harus
‫relatif dekat.
‫Tetapi pelatihan umumnya akan lebih tinggi dari skor pengujian.
‫Dan jika Anda pernah mendapatkan skor tes sempurna seperti akurasi 100 persen atau semacamnya, selalu
‫skeptis, kembali dan periksa data Anda.
‫Tetapi jika kita membuat model kita sedikit lebih buruk dan mungkin kita hanya menggunakan lima perkiraan, mari kita lihat apa yang terjadi di
‫sini.
‫Jumlah perkiraan sama dengan lima.
‫Apa sekolah pelatihan?
‫Apakah Anda melihat bagaimana kami mendapatkan skor yang kurang dari sempurna?
‫Berapa banyak yang bisa kita dorong untuk menjadi sempurna?
‫Di sana kita pergi.
‫Hanya membutuhkan 10.
‫Itulah kekuatan algoritma ensemble.
‫Bagaimana jika kita hanya menggunakan dua?
‫Apa yang didapatnya?
‫Masih mendapat 90 persen hanya dengan dua, tetapi bagaimana kinerjanya?
‫Lihat, kami mendapatkan skor yang jauh lebih buruk, jadi itulah algoritma ensemble.
‫Singkatnya, hutan acak adalah salah satu algoritma ensemble paling kuat dan tercepat, jadi kami menggunakan
‫10 di sini kami mendapatkan skor sempurna pada data pelatihan.
‫Bagaimana jika kita mendorongnya hingga mungkin 500?
‫Bisakah kita mendorong skor tes lebih tinggi?
‫Kami sebenarnya tidak mendapatkan skor tes yang lebih tinggi, bahkan jika kami menggunakan mungkin seribu.
‫Anda mengatakan bagaimana Anda dapat mengubah berbagai hal dengan model pembelajaran mesin.
‫Ini adalah bagian yang menyenangkan tentang itu, bukan?
‫Apakah mengutak-atik hal yang berbeda dan mendapatkan hasil yang berbeda.
‫Sekarang mari kita dorong ke depan.
‫Kami telah melihat metode sekolah untuk pengklasifikasi.
‫Ingat, metrik evaluasi skor default dalam model klasifikasi dan garis soket adalah akurasi yang dapat Anda temukan
‫di string dok.
‫Mari lakukan hal yang sama.
‫Mari kita gunakan metode skor pada masalah regresi kita.
‫Jadi.
‫Aku akan meninggalkan itu terserah Anda.
‫Saya ingin Anda mereplikasi ini, tetapi untuk kumpulan data regresi dan menggunakan algoritma regresi dan menguji metode skor, saya akan
‫memberi Anda petunjuk bahwa kami telah melakukan ini sebelumnya.
‫Tapi saya ingin Anda mencoba dan menuliskannya sendiri kali ini.
‫Lakukan pengaturan yang sama, pengaturan.
‫Buat datanya, pisahkan datanya.
‫Membuat model sesuai dengan model.
‫Skor modelnya.
‫Sampai jumpa di video selanjutnya.