‫Son videoda, bu metriklerin, precision recall ve F1 skorunun yalnızca bir split train test split
‫kullanılarak hesaplandığını, bu nedenle yalnızca bir tane kullanılarak hesaplandığını söyleyerek bıraktık, ancak mümkün olduğunda çapraz doğrulama kullanmayı
‫tercih etmek istiyoruz.
‫Yani yapacağımız şey bu.
‫Küçük bir başlık açalım.
‫Biz gideriz.
‫Çapraz doğrulama kullanarak değerlendirme metriklerini hesaplayın.
‫İşte gidiyoruz.
‫Çapraz doğrulama kullanarak modelimizin hassasiyet geri çağırma ve f bir puanını hesaplamak için.
‫Bunu yapmak için de beni kullanacağız.
‫Bunu çapraz sesli harf koduna koy.
‫Bunu soket öğrenme bölümünde gördük, çapraz sesli harf skoru.
‫Ve her zaman yapmak istediğimiz gibi burada da çapraz sesli harf skoruna bakarsak.
‫Ne yazıyor?
‫Yani bir tahmin alır, bir X alır, bir Y alır, çapraz doğrulama ile bir puan değerlendirir.
‫Burada dikkat etmek istediğimiz şey skorlama.
‫Bu nedenle, dize puanlamaya gidersek, bir dize çağırın veya yalnızca tek bir değer döndürmesi gereken imzalı çağrılabilir
‫nesne işlevimizi puanlayın.
‫Tamam, bu, modelimizi farklı metriklerle çapraz doğrulama kullanarak değerlendirmek için kullanacağımız
‫parametredir.
‫Bu yüzden puanlama dizisini değiştireceğiz.
‫Öyleyse, en iyi parametre türümüzle yeni bir lojistik regresyon modeli örneği oluşturacağımızı görelim.
‫En iyi parametre türümüz neydi?
‫Şimdi en iyi hiper parametreleri kontrol edelim çünkü yapabileceğimiz en iyi modellerden birini kurmak ve ardından bunu değerlendirmek
‫için çapraz doğrulamayı kullanmak istiyoruz.
‫Jess Log rig dot best params.
‫Harika.
‫Şimdi bir sınıflandırıcı oluşturacağız, buraya gidin, bulduğumuz en iyi parametrelerle yeni bir sınıflandırıcı oluşturun.
‫Yani CLF eşittir lojistik.
‫Regresyon eşitlere bakınız.
‫Bunu buraya kopyalayacak mısın?
‫Harika.
‫Oops.
‫Sıfırı unuttum.
‫Bu çok uzun bir sayı.
‫Ve sonra çözücü, o arar.
‫Eğer kendi yüksek parametre ayarlarınızı yaptıysanız ve daha iyilerini bulduysanız, bu parametreler
‫farklı olabilir.
‫Ama şimdilik bu bizim için yeterli.
‫Harika.
‫Şimdi en iyi yüksek parametrelere sahip bir model oluşturduk.
‫Çapraz onaylanmış bazı ölçümler elde etmek için puanlama parametresiyle birlikte çapraz sesli harf puanını kullanalım.
‫Aslında ne yaptığımızı unuttum.
‫Buraya gel.
‫Hesaplayacağız.
‫Evet, işte oldu.
‫Bu yüzden doğruluk istiyoruz.
‫Buraya gel.
‫Çapraz onaylanmış doğruluk.
‫Yani dört hücre yapabiliriz ve buraya çapraz onaylanmış hassasiyetle gideriz.
‫Çapraz doğrulamalı hatırlama.
‫Ve sonra çapraz onaylandı.
‫Eğer bir taneyse.
‫Scott Wonderful.
‫Hadi yapalım şunu.
‫Bu yüzden Çapraz Doğrulama Doğruluğu anlamına gelen CVAC'ye gidiyoruz.
‫Çapraz sesli harf puanına eşittir ve burada örneklediğimiz sınıflandırıcıyı dışarı aktaracağız.
‫Tüm X verilerini aktaracağız çünkü artık çapraz sesli harf skorunu
‫ve tüm Y verilerini kullandığımız için CV'yi beşe ayarlayacağız ve puanlamayı doğruluk olarak ayarlayacağız.
‫Çok güzel.
‫Daha sonra CB Ark'ın neye benzediğini kontrol edeceğiz ve bunun temelini alabiliriz çünkü hatırlayın,
‫ne yaptı?
‫Modelimizi beş farklı bölünme üzerinden değerlendirdi.
‫Yani ortalamasını alırsak.
‫Doğru.
‫Bu, bu beş farklı bölümdeki ortalama doğruluğu elde edecektir.
‫Hadi yapalım şunu.
‫Bu yüzden MP nokta ana kayıt a'ya gidiyoruz.
‫Harika.
‫İşte bu kadar doğru.
‫Yani bunu saklayabiliriz.
‫Aslında, değerimizi geçersiz kılabilir ve sonra a'yı kaydedebiliriz.
‫Çok güzel.
‫Şimdi de aynı şeyi diğerleriyle yapalım.
‫Buradan gideceğiz.
‫Kodu buraya kopyalayabiliriz.
‫Yine, kod kopyalama alışkanlığı edinmek istemezsiniz.
‫Gerçekten bu şekilde çalışmamız gerekiyor, ancak biz sadece yumruklarla yuvarlanmaya devam edeceğiz.
‫Şu anda yaptığımız şey ve işlev derken şunu kastediyorum, tüm yol boyunca nispeten benzer hesaplamalar
‫yaptığımız için, bunu bir işlev haline getirebiliriz, böylece bir hassasiyet bunu geçersiz kılarak
‫hassasiyet eşittir MP ortalaması olabilir.
‫Ve sonra tekrar gör.
‫Harika.
‫Geri çağırma dışında aynı şeyi burada da yapabiliriz.
‫Yapabileceğimiz şey, komutu tuttuğunuzda buraya boşluk koymak için biraz zor olmaktır.
‫Buraya küçük lanetler koyabilirsin.
‫Yani tüm bunları geri çağırma olarak değiştirirsek.
‫Ha!
‫Mutlu günler.
‫Şuna bir bak.
‫Geri çağırma sırasında beş lanet aldım.
‫Harika.
‫Güzel bir geri çağırma puanı.
‫Çapraz doğrulama da yapıldı.
‫Aynı şeyi EF 1 için de yapabiliriz.
‫Buraya gidiyoruz, tüm bu kötü çocukları F1 ile değiştireceğiz.
‫İşte oldu.
‫Kodumuzun çok sesli görünmesi için buraya biraz baharat koyabiliriz.
‫Harika.
‫Tamam.
‫Ve şimdi elimizde patronumuzun talep ettiği tüm bu çapraz doğrulama metrikleri veya çapraz onaylanmış
‫metrikler var.
‫Onun da diğer tüm değerli çalışanlarımız gibi bir Jupyter not defterinin içinde, güzel, derli
‫toplu küçük bir masada oturması gerçekten iyi değil.
‫İşte bir sunumda gerçekten iyi görünen sınıflandırma matrisimiz.
‫Bu, birinin bakıp "Evet, bu değerin oldukça yüksek olduğunu görebiliyorum" diyebileceği
‫bir şey.
‫Burada neler olduğunu görebiliyorum.
‫Biz de aynısını yapalım.
‫Hepsinin dağınık olmasındansa.
‫Bunu bir tür grafiğe veya görselleştirmeye dökelim.
‫Böylece çapraz onaylanmış metriklerimizi görselleştiriyoruz.
‫Bu yüzden bir Matrisi veri çerçevesi olarak kaydedeceğiz.
‫Yani, evet, muhtemelen bunu en başta işlevselleştirmeliydik, ama bu doğru.
‫Bazen sadece içinden geçmen gerekir.
‫Eski usulle ve sonra nerede yanlış yaptığınızı fark edin ve bunu nasıl geliştirebileceğinizi görün.
‫Belki bu biraz uzatmadır.
‫Kendiniz deneyebilir ve nasıl çalışabileceğinizi görebilirsiniz.
‫Burada yaptığımız şeyin bir kısmı, belki de sadece X ve Y'yi farklı ölçütler kullanarak çapraz
‫doğruluyor ve hepsini tek seferde güzel bir sunuma dönüştürüyor.
‫Bu iyi bir uygulama olur.
‫Bir geri çağırmayı kaydedin.
‫Ve sonra f bir, CV f birimiz olacak.
‫Harika.
‫Sıfıra eşit bir indeks ayarlamamız gerekiyor.
‫Görünüm, Oh, o zaman bir çizim oluşturabilir, bir matris kaydedebiliriz.
‫Bunu daha önce de yapmıştım.
‫Spoiler uyarısı, bu yüzden değiştirmem gerektiğini biliyorum.
‫Çubuk başlığı çapraz onaylanmış sınıflandırma matrisine eşittir.
‫Ve yanlış olmayan yeni bir efsane istiyor muyuz?
‫Bakalım bu neye benziyor.
‫Çok güzel.
‫Buraya küçük bir noktalı virgül koyacağız.
‫İşte oldu.
‫Bu yüzden belki de buraya sayıları ekleyebiliriz, böylece insanlar tam olarak ne olduklarını bilirler.
‫Ancak modelimizin geri çağırma konusunda oldukça başarılı olduğunu görüyoruz.
‫Ve yine, muhtemelen rastgele orman modelimizden veya K en yakın komşu sınıflandırıcımızdan veya deney aşamamız sırasında denemiş
‫olabileceğimiz herhangi bir sınıflandırma modelinden elde ettiğimiz çapraz doğrulama sonuçlarımızı ekleyebiliriz.
‫Unutmayın, bu deneme aşaması sadece yinelemeli bir süreçtir, değil mi?
‫Burada ileri geri gidip geliyorum.
‫Böylece bunu buraya ekleyebilir ve hangi modelin en iyi performansı gösterdiğini görebiliriz.
‫Ancak şimdilik lojistik regresyona bağlı kalıyoruz ve bu paylaşabileceğimiz bir şey gibi görünüyor.
‫Peki şimdi elimizde ne kaldı?
‫Peki, neleri işaretlediğimizi yazdığımız yere geri dönelim.
‫Her şeyi işaretledik mi?
‫Patronumuzun sorduğu şeyler, daha önce nasıl yapacağımızı bilmediğimiz şeyler.
‫Ama şimdi onları iş başında gördük.
‫Vay be.
‫Tamam.
‫Yani elimizde.
‫Çapraz Doğrulama Hassasiyet Hatırlama evet.
‫Sınıflandırma Raporu tic rc eğrisi tic eğri altında kalan alan karışıklık matrisi.
‫Evet.
‫Burada kaçırdığımız şey özelliklerin önemi.
‫Hmm.
‫Pekala, bir sonraki videoda özelliklerin önemini nasıl yapacağımızı görelim.