‫Sekarang kami memiliki model ideal yang berkinerja baik -- baik pada kumpulan data validasi
‫yang sangat valid, Emslie, adalah metrik yang telah kami perhatikan karena itu adalah metrik evaluasi untuk kompetisi
‫kargo khusus ini.
‫Tentu saja, jika Anda sedang mengerjakan masalah yang berbeda atau kumpulan data yang berbeda, Anda mungkin
‫memiliki metrik evaluasi yang berbeda yang coba Anda tingkatkan.
‫Tapi sekarang kami melakukannya dengan cukup baik.
‫Jadi mari kita gunakan model ideal kita untuk membuat prediksi pada data uji.
‫Ada sedikit berita menarik di bagian ini yang sangat penting untuk diingat, dan kita akan menemukannya
‫sebentar lagi.
‫Jadi, pertama-tama, kita harus mengimpor data pengujian.
‫Sekarang, jika kita melihat.
‫Di folder data kami, jadi ini hanya di rumah Jupiter, karena kami telah membuat folder proyek untuk proyek khusus ini
‫dan kami telah mengunduh data kami, taruh di sini.
‫Di dalam sini, ada kumpulan data yang menguji CSFI.
‫Jadi inilah yang akan kita gunakan.
‫Dan jika kita kembali ke Kagle, ini memberitahu kita bahwa Test CSFI adalah test set, yang tidak akan dirilis sampai
‫kompetisi minggu lalu.
‫Yah, kami sudah mendapatkannya saat ini karena kompetisi ini telah berlalu.
‫Ini berisi data dari satu Mei 2012 hingga November 2012.
‫Oke, jadi sekitar enam bulan atau lebih setelah validasi kami ditetapkan dengan indah.
‫Dan model kami berkinerja OK pada set validasi.
‫Jadi yang mungkin Anda lihat adalah bagaimana kita bisa membuat prediksi tentang masa depan ini.
‫Data enam bulan.
‫Jadi kita akan melakukan uji Eagles' Reid sebagai V, yang akan melakukannya dengan cara
‫yang sama persis seperti yang kita lakukan di awal dengan melatih lubow kumpulan data tidak valid untuk buldoser.
‫Hebat.
‫Dan itu disebut Uji tzi, karena kita akan melewati memori rendah sama dengan salah.
‫Dan kita juga akan melewatkan tanggal karena ingat, kita belum melakukan manipulasi apa pun pada kumpulan data ini seperti yang kita
‫lakukan pada kumpulan data lainnya.
‫Kami akan melihat di mana itu masuk dalam beberapa saat dan kemudian kami akan memeriksa pengujian DFG ke depan.
‫Apa yang terjadi?
‫Ah, salah ketik.
‫Cantik.
‫Jadi ini terlihat akrab.
‫Ini adalah sesuatu yang telah kita lihat sebelumnya, kecuali sekarang kali ini kumpulan data pengujian tidak memiliki kolom harga
‫jual.
‫Dan alasannya adalah karena itulah kolom yang kami coba prediksi.
‫Jadi mengapa kita tidak melihat apakah kita bisa melakukannya?
‫Jadi kita pergi menyebar sama dengan model ideal.
‫Kami menggunakan model ideal kami model waktu ini tidak memprediksi.
‫Model yang ideal telah melakukan yang terbaik dan kita harus bisa melewati seluruh kerangka data.
‫Benar, karena ini akan menjadi nilai X kami dan kami tidak perlu membuang kolom apa pun karena tidak
‫memiliki kolom harga jual.
‫Jadi mari kita lihat apa yang terjadi.
‫Sebenarnya, beri sedikit komentar di sini, buat prediksi pada dataset uji dan saya hanya sedikit memberi tantangan sebelum kita
‫menjalankan sel ini, saya ingin Anda berpikir tentang apa yang mungkin terjadi pada model pembelajaran mesin
‫kita.
‫Ini telah dilatih pada kumpulan data tertentu dan sekarang kami telah mengimpor kumpulan data pengujian.
‫Apa yang akan terjadi jika kita mencoba membuat prediksi berdasarkan kumpulan data ini? Saya akan memberi Anda petunjuk
‫berdasarkan data yang telah dilatih oleh model kita.
‫Dan jika Anda tidak yakin, tidak apa-apa, kita akan melihatnya sebentar lagi, kita harus melihatnya sekarang.
‫Oh, begitulah.
‫Nilai kesalahan.
‫Oke, apa yang terjadi di sini tidak dapat mengubah string menjadi float.
‫Oh oke.
‫Jadi jika Anda ingat kembali ke atas, mari gulir kembali ke atas melalui buku catatan yang telah
‫kita kerjakan.
‫Apa yang kami lakukan sebelum kami dapat melatih pembelajaran mesin apa yang kami lihat bahwa kesalahan serupa saat pertama
‫kali kami mulai di sini, saat kami mulai membuat model.
‫Akan sangat bagus jika saya bisa menemukannya.
‫model kami.
‫Tidak berhasil.
‫Ini dia.
‫Oke, buat model, jadi cenderung drop.
‫Tidak dapat mengonversi string ke penerbangan, jadi pesan kesalahan yang sama, apa yang ada di bawah?
‫Sekarang, alasan mengapa ini terjadi adalah mengapa menurut Anda?
‫Nah, itu karena ketika kita mengimpor kumpulan data asli kita, kita melakukan beberapa manipulasi padanya, apa yang kita
‫lakukan?
‫Kami memastikan data kami numerik dan kami memastikan tidak ada nilai yang hilang.
‫Jadi yang kami lakukan sekarang adalah mengimpor deftest.
‫Mungkin memiliki beberapa nilai yang hilang, yang memang demikian.
‫Dan mungkin tidak semuanya numerik.
‫Dan.
‫Jauh.
‫Kami telah melakukan sedikit pemrosesan data di sini, dan jika kami memeriksa kolom.
‫Jadi ini semua fiturnya, tetapi jika kita memeriksa rangkaian kolom X.
‫Nah, Danny Bracket adalah.
‫Kami melihat bahwa kolom Lancs, yang berbeda.
‫Hmm.
‫Jadi ada seratus dua kolom di kereta al X, sedangkan dalam pengujian, apa yang kita dapatkan di sini?
‫Kami melihatnya di sini sebelumnya ketika kami melakukan dot head.
‫Lima puluh dua kolom, hmm.
‫Jadi alasan mengapa model pembelajaran mesin kami tidak dapat memprediksi pada kumpulan data pengujian saat ini adalah
‫karena formatnya tidak sama dengan model yang dilatih atau dengan kumpulan data tempat model dilatih.
‫Jadi itulah yang harus kita lakukan.
‫Baiklah.
‫Mari kita singkirkan ini di sini.
‫Jadi bagaimana kita bisa melakukan ini sehingga kita bisa melakukan pra-pemrosesan data.
‫Dengan kata lain, mendapatkan kumpulan data pengujian dalam format yang sama dengan data pelatihan kami sangat bagus.
‫Jadi bagaimana kita bisa melakukan ini?
‫Jadi apa yang mungkin kita lakukan, menurut saya, adalah membuat fungsi untuk melakukannya.
‫Jadi jika kami mengimpor kumpulan data baru, katakanlah, kumpulan data uji, kami benar-benar melakukan beberapa manipulasi pada
‫data pelatihan kami.
‫Kita dapat mengambil fungsi-fungsi yang kita lakukan pada kumpulan data pelatihan dan melakukan hal
‫yang sama persis pada kumpulan data pengujian, sehingga keduanya sama.
‫Itu masuk akal.
‫Mari kita lihat dulu.
‫Mari kita lihat apakah kita bisa melakukan ini.
‫Jadi data yang telah diproses sebelumnya akan melewati bingkai data.
‫Kami akan meninggalkan sedikit catatan di sini.
‫Jadi lakukan transformasi pada D. F. dan pengembalian ditransformasikan oleh hak sederhana.
‫Kami ingin membuat fungsi yang mengambil semacam bingkai data.
‫Itu melakukan banyak manipulasi pada bingkai data itu dan akhirnya akan mengembalikan bingkai data itu.
‫Jadi sekarang kita harus mengisi semua transformasi yang awalnya kita lakukan untuk melakukan temp di sini.
‫Jadi kita bisa melakukannya dengan naik.
‫Kami mungkin harus membuat beberapa salinan dan Pasir, jadi ingat, kembali ke atas.
‫Jadi ini adalah sedikit aturan, sedikit berita gembira, apa yang Anda lakukan pada kumpulan data pelatihan, yang
‫harus Anda lakukan pada kumpulan data pengujian.
‫Jadi itulah berita gembira pembelajaran mesin di sana.
‫Oke, jadi inilah kumpulan manipulasi besar pertama yang kami lakukan.
‫Mereka mungkin meniru yang luar biasa itu.
‫Dan kami hanya dapat mengingat baris ini, jadi kami telah menambahkan beberapa informasi di sini
‫berdasarkan Colin Saldate siang hari, dan kemudian kami menghapusnya.
‫Jadi itu adalah dua langkah pertama yang harus kita lakukan.
‫OK, kita akan scroll ke bawah sampai akhir notebook kita.
‫Saya akan banyak menggulir dalam video ini karena kami melakukan tiga hal utama dengan benar.
‫Kami menambahkan beberapa informasi di sini ke siang hari atau kami mengekstraknya.
‫Itu mungkin ide yang lebih baik.
‫Kami mengekstrak informasi dari kolom waktu tanggal kami dan menambahkannya ke kerangka data sehingga kami dapat menggunakan D. F.
‫titik jatuh.
‫Dan setelah kita selesai melakukannya, kolom Saldate akan keluar.
‫Dan kita akan pergi akses sama dengan satu dan di tempat sama dengan benar, luar biasa, dan kita harus menghapus suhu dari semua ini karena kita
‫hanya menggunakan D. F..
‫Jadi sedikit trik di sini adalah dengan menggerakkan kursor Anda dan menahan perintah jika Anda menggunakan Mac atau mungkin mengontrolnya
‫jika Anda menggunakan windows dan kita bisa kembali ke pangkalan di sini.
‫Luar biasa, bukan?
‫Karena kami tidak bekerja dengan do temp.
‫Kami bekerja dengan D. F..
‫Jadi setiap bingkai data yang diberi nama sewenang-wenang akan bekerja dengan fungsi kami.
‫Jadi hal selanjutnya yang kita lakukan adalah kita perlu mengisi baris numerik dengan Madian dan kita juga.
‫Penuh, kategoris.
‫Data hilang dan berubah menjadi angka.
‫Pada gilirannya, kategori menjadi angka.
‫Jadi itulah yang kita harus gulir kembali dan temukan.
‫Oke, mari kita lakukan itu dulu.
‫Kita akan mendapatkan keajaiban baru yang hilang.
‫Untungnya, kami telah meletakkan buku catatan kami.
‫Kami telah menambahkan judul ini di sini sehingga kami dapat melihat apa yang kami lakukan.
‫Ini semua adalah bagian dari membantu diri Anda sendiri, bukan?
‫Jadi isi baris numerik di median.
‫Kami sebenarnya membutuhkan semua kode ini di sini.
‫Kami akan menyalinnya.
‫Cantik.
‫Jadi di sinilah komentar dan judul yang berbeda di buku catatan Anda benar-benar dapat membantu diri Anda di
‫masa depan, adalah saat Anda ingin memfungsikan dan membersihkan semuanya.
‫Jadi begitulah lagi, kita harus melepas tenda DF, kita turun ke perkemahan.
‫Kami tidak ingin suhu itu.
‫Kami hanya ingin D. F..
‫Oke, cantik, dan kita masih perlu mengisi data kategoris yang hilang dan mengubah kategori menjadi angka.
‫Sekarang, mari kita lihat apakah kita dapat mengingat bagaimana melakukan ini daripada harus menggulir kembali, karena jujur saja,
‫kita telah melakukan cukup pengguliran.
‫Jadi kita bisa melakukan ini, jika tidak jika kita ingat, jika bukan tipe numerik.
‫Begitulah cara kami melakukannya ketik konten tipe numerik karena kami mengulang.
‫Kami berada di lingkaran yang sama di sini.
‫Konten yang ingin kami tuju D. F. label plus garis bawah tidak ada.
‫Ya, setara.
‫Jadi itu akan memeriksa apakah sekarang, jika sekarang kita ingin menambahkan
‫label yang labelnya hilang, bahwa titik data tertentu itu hilang dan mengarahkan bagaimana kita menambahkan plus satu ke kode kategori karena panda dan
‫kode kehilangan kategori sebagai negatif .
‫Jadi ini adalah di mana kita bisa pergi.
‫D. F. label Eagles 'PD kategoris.
‫Jadi ubah menjadi kategoris untuk mengubah konten kolom tertentu menjadi kategori dan kemudian mengakses kodenya,
‫a. k. A. mengubahnya menjadi angka dan kemudian ditambah satu.
‫Baiklah, bukan fungsi yang buruk.
‫Jadi seperti inilah yang terjadi dalam alur kerja notebook, benar, apakah di sini Anda mungkin bisa
‫mengklasifikasikan sebagian besar dari ini cukup berantakan.
‫Kami telah membantu diri kami sendiri dengan judul yang berbeda dan yang lainnya dan komentar.
‫Namun, saat Anda melangkah lebih jauh ke dalam proses, Anda akan mulai membangun fungsi pembantu ini.
‫Jadi, Anda menyusun sejumlah langkah berbeda ke dalam suatu fungsi sehingga benar-benar menyinkronkan berbagai hal di
‫buku catatan.
‫Dan Anda bisa memanggil fungsi seperti ini, seperti fungsi skor acara kami dan itu melakukan proses yang akan sama
‫setiap saat daripada harus menggulir ke atas melalui buku catatan dan menemukan sesuatu di
‫sel yang berbeda.
‫Jadi sekarang kita bisa menekan shift, masuk pada itu atau apa yang terjadi.
‫Diharapkan blok yang hilang.
‫Saya tidak berpikir kami membutuhkannya.
‫Oh, ya, di situlah kita membutuhkannya.
‫Kami membutuhkan orang India di sini.
‫Ini dia, klasik.
‫Inilah yang terjadi ketika kita menyalin dan menempelkan kode, bukan?
‫Pemformatannya tidak selalu sempurna, indah.
‫Jadi kami memiliki fungsi di sini yang akan melakukan pra-proses semacam kerangka data.
‫Ini akan menambahkan beberapa informasi berdasarkan kolom Saldate.
‫Ini akan mengisi baris numerik dengan median.
‫Ini akan mengubah data kategorikal yang hilang menjadi nilai nol dan data lainnya
‫menjadi nomor kode kategori yang indah.
‫Jadi itu akan melalui beberapa langkah, tapi itu fungsi sayap kanan.
‫Apakah masih akan terjadi bersama?
‫Dan sekarang apa yang bisa kita lakukan di sini?
‫Sebenarnya, pertanyaan yang bagus adalah di mana fungsi ini dapat rusak?
‫Saya mungkin meninggalkan Anda untuk video ini agar tidak terlalu panjang.
‫Saya ingin Anda melihat fungsi besar yang telah kami buat ini dan pikirkan jika kami
‫melewatinya, kerangka data pelatihan kami, bagaimana cara kerjanya?
‫Dan kemudian jika kami melewati kerangka data pengujian kami.
‫Benar.
‫Tes DF, yang ada di sini, kami melewati kerangka data ini.
‫Bagaimana itu bisa pecah?
‫Kami akan menjawabnya di video berikutnya.