‫Pemodelan bagian empat adalah bagian akhir dari pemodelan, dan perbandingannya ingin tahu di sini adalah bagaimana model
‫kita akan tampil di dunia nyata?
‫Jadi, setelah Anda menyetel untuk meningkatkan kinerja model Anda melalui penyetelan parameter hiper, inilah saatnya
‫untuk melihat bagaimana kinerjanya pada pengujian.
‫Di set tes seperti ujian akhir untuk model pembelajaran mesin.
‫Jika Anda telah membuat pemisahan data dengan benar, ini akan memberi Anda indikasi tentang kinerja model
‫Anda.
‫Setelah digunakan dalam produksi berarti menghadapi pelanggan daripada hanya berada di komputer lokal Anda.
‫Karena model Anda belum pernah melihat data dalam set pengujian, mengevaluasi model Anda di atasnya adalah cara yang baik untuk
‫melihat bagaimana ia menggeneralisasi.
‫Dan ingat, dengan menggeneralisasi, maksud saya beradaptasi dengan data yang belum pernah dilihat sebelumnya, seperti bagaimana model pembelajaran
‫mesin prediksi penyakit jantung akan bekerja dalam mengklasifikasikan apakah pasien memiliki penyakit jantung atau tidak
‫pada pasien yang tidak ada dalam data asli kami. mengatur.
‫Model yang baik akan memberikan hasil yang serupa pada set pelatihan, validasi, dan pengujian, dan tidak jarang
‫terlihat sedikit penurunan performa dari model tersebut.
‫Pada set pelatihan dan validasi ke set pengujian, misalnya, model Anda mungkin mencapai akurasi 98
‫persen pada set data pelatihan dan akurasi 96 persen pada set pengujian.
‫Yang harus Anda khawatirkan adalah jika kinerja set pelatihan secara dramatis lebih tinggi dari
‫set tes, juga dikenal sebagai underfeeding, dan jika kinerja set tes lebih tinggi dari kinerja
‫set pelatihan, juga dikenal sebagai OVERFITTING.
‫Overfitting dan Underfeeding keduanya merupakan contoh model yang tidak dapat digeneralisasi dengan baik, yang tidak
‫kami inginkan.
‫Model ideal muncul di zona Goldilocks.
‫Itu pas, tidak terlalu baik, tetapi tidak terlalu buruk.
‫Anda lihat di sini model pembelajaran mesin ini.
‫Jika ini adalah data Anda, titik data hijau ini, garis ini di sini, agak sesuai dengan bentuknya.
‫Tapi justru ini yang akan diklasifikasikan sebagai kurang makan.
‫Ini bukan apa yang kita ingin model hari ini.
‫Dan yang ini di sini.
‫Yah, itu melakukan pekerjaan yang baik untuk mengisi semua titik data, tapi itu terlalu dekat.
‫Ini model yang hampir terlalu sempurna.
‫Itu hanya meliuk-liuk di antara mereka.
‫Jadi contoh ini berarti bahwa model telah mempelajari pola dengan sangat baik dalam kumpulan data ini.
‫Ini akan seperti melihat ujian akhir sebelum benar-benar mengikuti ujian akhir.
‫Yang ini di sini adalah zona Goldilocks.
‫Benar.
‫Ini adalah proses berulang di mana tepatnya zona Goldilocks ini seperti model yang seimbang akan sangat bergantung pada
‫data Anda dan masalah yang Anda coba selesaikan.
‫Itulah mengapa, sekali lagi, ini adalah proses berulang, menemukan zona seimbang ini.
‫Dan sekarang, setelah beberapa pengalaman dan latihan mengerjakan berbagai masalah pembelajaran mesin, Anda akan
‫dapat mulai mengetahui apakah model Anda overfitting atau underfeeding.
‫Sekarang, ada beberapa alasan mengapa underfeeding bisa terjadi, tetapi yang utama adalah kebocoran
‫data dan ketidakcocokan data.
‫Kebocoran data terjadi ketika beberapa data pengujian Anda bocor ke data pelatihan Anda, dan ini sering mengakibatkan overfitting atau
‫model bekerja lebih baik pada set pengujian daripada pada data pelatihan tersebut.
‫Ini seperti, ingat, itu seperti jika Anda melihat ujian akhir atau semua orang harus
‫melihat ujian akhir sebagai ujian praktik, model pembelajaran mesin Anda baru saja mempelajari apa yang
‫akan diuji.
‫Jadi ketika tiba saatnya untuk membuat model, itu baru saja dipelajari dengan sangat baik dan mulai cocok dengan data seperti
‫ini.
‫Dan inilah mengapa penting untuk melakukan pemisahan dengan benar dan memastikan bahwa pelatihan model
‫pembelajaran mesin hanya terjadi pada validasi set data pelatihan dan penyetelan model hanya terjadi pada validasi atau
‫set data pelatihan, dan pengujian dan perbandingan model terjadi pada data pengujian mengatur.
‫Dan saya ingat beberapa pendekatan berbeda yang hanya digunakan dalam set pelatihan dan pengujian dan
‫melakukan pelatihan model pada set pelatihan, tetapi pengujian selalu tetap sama.
‫Ini seperti ketika Anda pergi ke universitas, Anda sedang mengikuti kursus.
‫Anda ingin memastikan bahwa ujian akhir adalah semacam indikasi seberapa baik Anda memahami berbagai hal.
‫Mengatakan Dengan set data pengujian untuk pembelajaran mesin, set data pengujian digunakan sebagai indikasi seberapa baik model
‫Anda akan digeneralisasi di dunia nyata.
‫Jadi Anda ingin menghindari kebocoran data.
‫Ketidakcocokan data terjadi ketika data yang Anda uji berbeda dengan data yang Anda latih, seperti
‫memiliki fitur yang berbeda dalam data pelatihan dengan data pengujian.
‫Memiliki ketidakcocokan semacam ini dapat menyebabkan model berkinerja buruk pada data pengujian dibandingkan dengan data pelatihan.
‫Inilah mengapa penting untuk memastikan bahwa pelatihan dilakukan pada jenis data yang sama seperti yang akan Anda
‫uji dan sedekat mungkin dengan apa yang akan Anda gunakan di aplikasi mendatang.
‫Cara lain untuk memerangi kekurangan makan termasuk menggunakan model yang lebih maju, ini bisa berarti model yang sama sekali
‫berbeda atau meningkatkan jumlah parameter hiper pada model Anda saat ini.
‫Ingat, saat kita memasak hidangan ayam kita, kita mungkin mengubah salah satu parameter hiper oven kita
‫dengan menaikkannya.
‫Itu mungkin sesuatu yang mungkin Anda lakukan pada model pembelajaran mesin daripada hanya menggunakan dua lapisan
‫dalam jaringan saraf yang mungkin Anda gunakan.
‫Kita akan melihat lebih banyak dari ini di proyek masa depan.
‫Anda juga dapat mengurangi jumlah fitur yang Anda coba modelkan, mungkin data Anda memiliki terlalu banyak
‫fitur dan model yang Anda gunakan kesulitan menemukan pola di dalamnya.
‫Terakhir, Anda dapat melatih model Anda lebih lama, terkadang model membutuhkan waktu lebih lama untuk dilatih atau lebih lama untuk dipelajari
‫daripada yang Anda harapkan.
‫Salah satu eksperimen Anda mungkin melibatkan fase pelatihan yang lebih lama.
‫Dan untuk mengurangi overfitting, solusi yang berguna adalah mengumpulkan lebih banyak data, lebih banyak data akan memberikan
‫lebih banyak pola potensial untuk ditemukan oleh model dan dengan demikian menurunkan potensinya untuk menemukan semuanya.
‫Atau Anda bisa mencoba menggunakan model yang kurang canggih.
‫Ini jarang terjadi, tapi itu kemungkinan.
‫Model yang Anda gunakan terlalu bagus dalam pembelajaran, dan model itu memodelkan data Anda, baiklah, berhati-hatilah terhadap model
‫yang berkinerja terlalu baik karena dapat menyebabkan prediksi yang salah.
‫Ingat, tidak ada model yang sempurna, jadi pastikan untuk memeriksa hasil baik Anda sebanyak Anda memeriksa hasil buruk
‫Anda.
‫Terakhir, ketika membandingkan dua model yang berbeda satu sama lain, penting untuk memastikan Anda membandingkan
‫apel dengan apel dan jeruk dengan jeruk.
‫Misalnya, model dua dilatih pada data, set satu versus model tiga, dilatih pada set data satu.
‫Perbandingan yang bertahan lama.
‫Anda ingin memastikan bahwa Anda memperhitungkan tidak hanya hasil akhir, tetapi juga apa yang diperlukan untuk mencapainya.
‫Jika Model dua membutuhkan waktu satu detik untuk membuat prediksi pada akurasi sembilan puluh tiga koma satu persen, model tiga membutuhkan
‫waktu empat detik untuk membuat prediksi pada akurasi sembilan puluh empat koma tujuh.
‫Apakah itu akurasi tiga persen ekstra sebanding dengan prediksi tiga detik ekstra itu?
‫Waktu sekarang.
‫Dan ini akan tergantung pada apa tujuannya.
‫Tetapi jika Anda mengoptimalkan waktu prediksi, kan, Anda ingin membuat prediksi secepat mungkin.
‫Saya memilih Model dua karena membuat prediksi empat kali lebih cepat daripada model tiga.
‫Bahwa pada tingkat akurasi yang lebih tinggi, sekali lagi, ini akan berbeda tergantung pada jenis aplikasi atau kasus penggunaan
‫produksi yang ingin Anda gunakan.
‫Tetapi hanya beberapa hal yang perlu diingat lebih dari sekedar bagaimana kinerja model yang masuk ke dalam memilih mana yang
‫harus Anda gunakan.
‫Beberapa hal yang ingin Anda ingat dari pelajaran ini, hindari overfitting dan underfeeding, Anda ingin
‫membuat model yang mengarah ke generalisasi.
‫Ini seperti ketika Anda melakukan ujian praktik, jika Anda melihat ujian akhir, Anda mungkin hanya menjadi mesin penghafal
‫yang ahli daripada seseorang yang dapat menggunakan pengetahuan di dunia nyata.
‫Pisahkan set tes dengan cara apa pun.
‫Saat Anda membagi data Anda, Anda ingin memiliki satu set pelatihan dan kemudian membuang set data pengujian dan
‫menguncinya.
‫Dan setelah model Anda dilatih, maka Anda dapat membuka kumpulan data pengujian, Anda dapat membuka kuncinya,
‫mengeluarkannya dari brankas, dan melihat bagaimana kinerja model Anda.
‫Saat Anda membandingkan model, bandingkan apel dengan apel, miliki model satu dan model dua pada data, atur satu
‫dan set data satu.
‫Anda ingin memastikan dua model yang Anda bandingkan telah dibuat dalam jenis lingkungan yang sama sehingga
‫Anda dapat memastikan bahwa apa yang Anda bandingkan adalah perbandingan yang sah.
‫Akhirnya, satu metrik kinerja berbasis tidak sama dengan model terbaik.
‫Ingat sekarang contoh, Anda mungkin mengoptimalkan waktu prediksi.
‫Jadi meskipun model yang membuat prediksi lebih cepat tidak mendapatkan akurasi setinggi model lain, itu membutuhkan waktu
‫sedikit lebih lama.
‫Mungkin tidak masalah bagi Anda karena Anda membutuhkan sesuatu yang dapat memprediksi secepat mungkin.
‫Siapa yang tahu banyak, tapi kita akan melihat lebih banyak lagi aksi ini di sepanjang kursus.
‫Anda juga akan menggunakannya sepanjang karir pembelajaran mesin Anda.
‫Jadi, penting untuk mengingat konsep-konsep ini.
‫Mari lanjutkan ke langkah berikutnya dan lihat bagaimana kita dapat menggabungkan semua langkah sebelumnya ini dalam eksperimen
‫langkah keenam.