‫Saya harap Anda siap, karena sekarang saatnya melatih model pada data lengkap.
‫Kami memverifikasi bahwa semuanya bekerja dengan memeriksa model kami, prediksi, mengevaluasi mereka dan pergi,
‫ya, model kami pasti belajar sesuatu.
‫Tetapi karena kita hanya melatihnya pada seribu gambar, mari kita lihat apakah kita dapat melatih model skala
‫penuh seperti pelatihan model deep learning penuh pertama kami pada 10.000 gambar plus.
‫Dan di sinilah kekuatan fungsi yang kita buat sebelumnya benar-benar akan berperan.
‫Jadi mari kita mulai sedikit untuk diri kita sendiri, melatih model, sebenarnya, sebut saja melatih model
‫anjing besar.
‫Dan kita mungkin menaruh sedikit Mojie di sini.
‫Pada data lengkap dan Anda mendapatkannya adalah model anjing besar, karena kami mencobanya pada banyak gambar anjing.
‫Saya suka proyek ini sekarang.
‫Kode, yang kita butuhkan adalah ingat, tepat di atas, jika tidak, tidak apa-apa.
‫Kita akan melihatnya sekarang.
‫Kami memiliki X dan Y, Lennix Y, dan ini semua tentang data pelatihan.
‫Ini adalah nama file dan ini adalah labelnya.
‫Jadi jika kita sampai di sini, X adalah semua nama file di kereta.
‫Jadi jika kita melihat yang pertama mungkin 10 dari X, 10 dari X.
‫Ini semua adalah nama file gambar pelatihan kami, kami membaginya sebelumnya menjadi kereta X, yang panjangnya hanya
‫800.
‫Di sana kita pergi.
‫Jadi jika kita melihat kereta X.
‫Hanya 800 gambar, jadi saat ini, model kami hanya melatih 800 gambar, dan jika
‫kami ingin melihat alasannya, mengapa label dikaitkan dengan setiap jalur file?
‫berupa nasi boulin.
‫Jadi apa yang perlu kita lakukan untuk melatih model lengkap jika kita kembali ke Keano, apa alur kerja kita?
‫Siapkan data, ubah menjadi Tensas?
‫Nah, kita punya fungsi untuk itu.
‫Apakah kamu ingat?
‫Buat kumpulan data.
‫Jika tidak, tidak apa-apa.
‫Kami telah membuat fungsi untuk itu dan kami memilih model yang sesuai dengan masalah Anda.
‫Jadi kita punya itu.
‫Kita tinggal menggunakan create model dan kemudian menyesuaikan model dengan data dan membuat prediksi.
‫Mari kita coba.
‫Jadi mari kita buat membuat kumpulan data.
‫Dengan kumpulan data lengkap, jadi di sinilah fungsi yang benar-benar membantu nanti di notebook
‫Anda, saya katakan itu layak untuk data sama dengan membuat kumpulan data.
‫Lihat ini, ini adalah fungsi kami yang telah kami tulis di atas, membuat data, kumpulan
‫data pasangan gambar X dan label Y, indah mengacak data jika pelatihan tetapi tidak.
‫Nah, itu sedikit kendala yang tidak bisa kita lihat yang juga menerima masukan pewaris.
‫Tidak ada Label.
‫Jadi tidak apa-apa.
‫Ini bukan data pelatihan, jadi mari kita buat bank data data lengkap.
‫Sekarang kita lihat data lengkapnya.
‫Ini adalah hari yang buruk untuk menjadi cantik dengan gambar dan label, luar biasa, dan jika Anda bertanya-tanya apa sebenarnya fungsi
‫membuat patch data.
‫Mari kita kembali ke atas jika kita melihat indeks kita di sini.
‫Apa yang kita lakukan?
‫Memvisualisasikan kumpulan data?
‫Ubah data kami menjadi kumpulan.
‫Jadi inilah fungsi besar kami, membuat kumpulan data, dibutuhkan X dan Y.
‫Dan inilah yang terjadi, ini karena ini adalah kumpulan data pelatihan, membuat data pelatihan, lencana, mengubah X
‫dan Y menjadi tenses.
‫Ini mengocoknya dan kemudian memetakan fungsi gambar pemrosesan kami serta mendapatkan fungsi berlabel ke data.
‫Dan kemudian mengubah data menjadi ukuran batch 32.
‫Tapi kami sudah melihat video di sana.
‫Jadi jika Anda membutuhkan penyegaran, kembali dan lihat video tempat kami membuat fungsi ini.
‫Jadi mari kita kembali ke tempat kita dulu.
‫Jadi sekarang kami mendapatkan data kami kembali.
‫Apa langkah selanjutnya?
‫Nah, kita butuh model.
‫Jadi mari kita membuat model untuk model lengkap untuk model sama dengan membuat model.
‫Ingat apa yang saya buat fungsi model lakukan.
‫Oh, tidak ada pengobatan.
‫Hmm, yah, mari kita jalankan itu.
‫Kita bisa pergi memeriksanya.
‫Jadi membangun model dengan TFR dev image net, mobile net V2.
‫Jadi kita punya model.
‫Oke, kita punya kumpulan data batch dan kita punya model.
‫Sekarang, jika kita ingin melihat apa yang dilakukan create model, di mana membangun model.
‫Jika kita turun ke sini, ini adalah fungsi create model kita, tidak memiliki doktrin, mungkin itu yang bisa
‫Anda tambahkan.
‫Jadi buat fungsi yang membangun model pengasuh.
‫Jadi yang akan dilakukan adalah melalui langkah-langkah yang diperlukan sebelumnya untuk membuat model sekuensial menggunakan
‫model yang kami unduh dari cenderung mengikuti hub dan lapisan padat di atas untuk memastikan keluaran kami
‫berukuran sama dengan label yang kita miliki.
‫Ini akan mengkompilasi model dengan fungsi kerugian dan pengoptimalan, yang adalah teman kita Adam,
‫pria di bawah bukit, memberi tahu kita cara menuruni bukit di kejuaraan keturunan Bukit
‫Internasional dan metrik adalah apa yang kita' kembali apa yang kita ukur.
‫Dan kemudian kita membangun model yang memberi makan pada bentuk input, yang merupakan ukuran gambar kita.
‫Luar biasa.
‫Kembali.
‫Jadi bagaimana kita bisa melatih ini?
‫Apa berikutnya?
‫Apa yang kita lakukan selanjutnya?
‫Yah, kami membuat beberapa panggilan balik, jadi kami mungkin harus membuat beberapa panggilan balik khusus untuk model kami.
‫Mari kita lakukan itu.
‫Mari kita buat callback model lengkap.
‫Model tegang penuh di atas ECLSS.
‫Buat papan, hubungi kembali.
‫Di sana kita pergi.
‫Ada fungsi kami sebelumnya untuk membuat 10 Bolkovac mengingat panggilan balik papan Tensor membantu kami melacak
‫kinerja model kami dan membandingkannya dengan model lain.
‫Jadi tidak ada set validasi saat melatih semua data.
‫Jadi tanpa penghentian awal panggilan balik, kami tidak dapat memantau akurasi validasi, jadi untuk penghentian awal panggilan balik kami, kami
‫membutuhkan penghentian awal model penuh.
‫Sama dengan dua penjaga, titik panggilan balik, titik berhenti lebih awal.
‫Ini dia, dan kami akan membuatnya memantau akurasi saat model kami melatih
‫data ponsel, saat akurasinya berhenti naik selama tiga epoch.
‫Kami akan membuatnya berhenti berlatih sehingga tidak terlalu fit atau kami akan mencoba dan mencegahnya
‫makan terlalu banyak.
‫Jadi geser dan masuk.
‫Luar biasa.
‫Sepertinya kami mungkin memiliki resep untuk mulai melatih model kami, jadi sesuaikan model lengkap dengan data lengkap.
‫Jadi di sinilah kita bisa pergi.
‫Kita bisa pergi untuk model, tidak cocok.
‫Jadi kita hanya memanggil model yang kita buat.
‫Pakaian X sama dengan data lengkap.
‫Sekarang, tidak ada set validasi, ingat, karena kita melatih data lengkap, epoch akan
‫menjadi 100 atau bisa saja NUM epoch karena kita telah mengatur Naameh Parks sebelumnya dan kita akan memiliki callback, yang
‫adalah dua panggilan balik yang baru saja kita buat.
‫Sekarang, ini hanya melakukan langkah yang sama persis seperti yang telah kita lakukan, melatih model yang lebih kecil, tetapi kali
‫ini dengan lebih banyak data.
‫Luar biasa.
‫Dan sekarang saya akan memberikan catatan kecil di sini untuk memberi tahu Anda
‫sedikit dan saya akan membicarakannya sehingga Anda tahu juga menjalankan sel di bawah ini akan memakan waktu sebentar, mungkin hingga 30 menit atau mungkin sedikit
‫lebih lama.
‫30 menit untuk epoch pertama, karena GPU yang kami gunakan dan runtime harus memuat semua gambar ke
‫dalam memori.
‫Jadi bandara pertama, ingat, dengan model kami yang lebih kecil pada seribu gambar, yang pertama di Depok membutuhkan waktu beberapa
‫menit, mungkin tiga atau empat menit, seperti yang bisa Anda bayangkan, karena yang ini ada di kumpulan
‫data lengkap.
‫Ini pelatihan dengan 10.000 gambar.
‫Jadi akan memakan waktu sedikit lebih lama untuk memuat semua data untuk APOC pertama.
‫Jadi sebelum kita menjalankan ini, selama semua kodenya benar, sebenarnya mungkin akan keluar.
‫Itu sebabnya daripada mencoba data lengkap dari awal, kami memastikan semuanya berfungsi karena saat
‫melatih mesin penuh, pembelajaran, atau model pembelajaran mendalam penuh.
‫Ini bisa memakan waktu yang cukup lama, dan karena kami cukup beruntung di sini, ini akan berlatih dalam waktu
‫satu jam karena kami menggunakan GPU.
‫Tetapi Anda dapat membayangkan jika Anda bekerja di perusahaan yang lebih besar, Anda mungkin meninggalkan pelatihan selama
‫seminggu.
‫Jadi itulah mengapa Anda ingin memastikan bahwa ketika Anda menyiapkan eksperimen, bayangkan melatih model
‫pembelajaran mendalam selama seminggu penuh dan ternyata itu tidak berhasil.
‫Jadi itulah mengapa kami melakukan semua langkah di atas untuk memastikan semuanya bekerja.
‫Jadi sebelum kita melatih model besar, kita bisa yakin, OK, semuanya sudah ada.
‫Mari kita mulai putaran pelatihan penuh.
‫Jadi Anda siap.
‫Kami akan melatih model pembelajaran mendalam pertama kami pada 10.000 gambar plus.
‫Visi anjing benar-benar menjadi kenyataan.
‫Di sini bersamaku, tiga banding satu dan masuk.
‫Semoga ini berhasil, kita akan melihat bilah pemuatan kecil muncul, dan karena kita telah menetapkan
‫jumlah epoch menjadi 100, itu akan terus melatih hingga 100 epoch.
‫Namun jika berhenti membaik, kami memiliki model lengkap panggilan balik penghentian awal yang akan berhenti pada
‫pelatihan lebih awal dan kemudian kami dapat memeriksa hasilnya menggunakan papan Tensor setelah selesai.
‫Jadi kita tunggu saja sampai ini dimulai, lalu apa yang mungkin saya lakukan adalah menjeda video ini karena akan memakan waktu
‫sekitar setengah jam.
‫Aku akan istirahat sebentar.
‫Mungkin Anda bisa berjalan-jalan di sekitar chillout.
‫Oh.
‫Mungkin akan memakan waktu sedikit lebih lama dari setengah jam.
‫Kali ini saya harus turun kecuali pengujian saya salah.
‫Tapi tunggu beberapa detik dan kemudian saya akan kembali ke video ini setelah model berhenti.
‫Jadi, begitu model menghentikan model lengkap lebih awal, panggilan balik penghentian lebih awal telah dimulai.
‫Oke, jadi saya akan membiarkan ini berjalan selama dibutuhkan.
‫Saya akan kembali setelah model saya berhenti sendiri berkat pemberhentian awal dan panggilan kembali.
‫Jadi saya akan melihat Anda dalam beberapa detik.
‫Tapi bagi saya, itu akan menjadi beberapa jam di masa depan.
‫Mungkin itu beberapa jam di masa depan Anda juga.
‫Dan kami kembali.
‫Baiklah, jadi mari kita lihat model terlatih kami.
‫Seperti yang Anda lihat, epoch pertama saya memakan waktu yang cukup lama dan ini sebenarnya akan memakan waktu beberapa saat jika
‫Anda menyelesaikan ini, jika Anda sudah melalui ini.
‫Anda perlu menepuk punggung Anda sendiri, karena ini seperti ritus peralihan, melatih
‫jaringan saraf ujung pertama dan pembelajaran mendalam Anda dan itu memakan waktu lama.
‫Salah satu hal yang harus Anda pahami saat menjadi ilmuwan
‫data, insinyur pembelajaran mesin adalah cara menghabiskan waktu saat model Anda berlatih.
‫Jadi saya pergi jalan-jalan dengan anjing saya karena ini butuh satu.
‫Berapa detik itu?
‫Jadi empat ribu tujuh ratus tiga puluh dibagi enam puluh tujuh puluh delapan menit.
‫Jadi lebih dari satu jam untuk melakukan époque pertama.
‫Tapi seperti yang saya katakan, setelah gambar dimuat ke dalam memori GPS, lihat seberapa cepat kecepatannya setelah itu.
‫Dan apa yang mungkin ingin Anda lakukan adalah saat sel ini berjalan, saya seharusnya
‫mengatakan ini sebelumnya, tetapi Anda dapat mencatat untuk masa depan saat sel ini berjalan, Anda ingin memiliki model penyimpanan
‫yang berjalan setelahnya seperti itu .
‫Setelah model Anda berhenti berlatih, berkat penghentian lebih awal, penghentian awal kami memanggil kembali ke sini.
‫Ini akan secara otomatis memanggil fungsi simpan model kami dan menyimpan model lengkap kami ke direktori model kami.
‫Sekarang mari kita ke sini dan melihat model-modelnya.
‫Oh, aku punya beberapa di sana.
‫Jadi mari kita lihat, itu akan menjadi satu dengan.
‫Ini dia, gambar penuh ditetapkan di atasnya, 2 Februari dan saya mulai sekitar pukul 5:00. M. Jadi kali ini sebenarnya salah
‫bagi saya karena saya tidak yakin.
‫Mungkin waktu kencan adalah waktu yang salah bagi saya.
‫Tapi di sana kita pergi.
‫Itu disimpan.
‫Di sini kita punya jalan kita.
‫Jadi sekarang kita bisa melihat, model kita sebenarnya cukup bagus.
‫Lihat itu.
‫Itu akurasi pelatihan.
‫Tapi saya agak skeptis di sini.
‫Anda tahu mengapa?
‫Karena kami tidak memvalidasi ini.
‫Ini hanya model pelatihan pada data pelatihan lengkap.
‫Jadi mari kita datang ke sini.
‫Ini melatih semua gambar di kereta ini untuk X dan Y.
‫Jadi kami tidak dapat benar-benar menguji pada set validasi, tetapi yang dapat kami lakukan adalah mengimpor set data pengujian yang awalnya
‫kami unduh dari Kagle.
‫Ini dia, file pengujian dan kami dapat mengimpornya, mengubahnya menjadi kumpulan data dan kemudian menggunakan model kami untuk membuat
‫prediksi dan mengirimkannya ke Kagle.
‫Bagaimana?
‫Karena begitulah model kita terselamatkan.
‫Mari kita uji fungsi model beban kita.
‫Jadi dimuat untuk model sama dengan model beban.
‫Kami hanya akan menyalin bagian ini di sini.
‫Oke, mereka sedang memuat model lengkapnya.
‫Dan jika kita menyalin baris ini di sini.
‫Mengambil.
‫Yah, kami tidak ingin meletakkannya di sana.
‫Kami ingin memasukkannya ke sini sebagai string.
‫Mari kita periksa.
‫Luar biasa.
‫Itu sedang terjadi, itulah yang kita kejar.
‫Jadi, sekali lagi, kami mendapatkan peringatan tersebut di dokumentasi yang mengatakan dapat diabaikan.
‫Baiklah.
‫Sekarang, apa selanjutnya?
‫Yah, saya pikir sekarang kita memiliki model yang sepenuhnya terlatih pada semua 10.000 gambar plus, saya pikir kita melihat
‫bagaimana membuat beberapa prediksi pada kumpulan data pengujian.
‫Jadi mari kita lakukan itu di video berikutnya.