‫Harika.
‫Makine öğrenimi modelimizin nasıl çalıştığını hızlı bir şekilde nasıl anlayacağımızı ve skor yöntemini
‫kullanarak nasıl değerlendireceğimizi gördük ve bu, regresyonda üzerinde çalıştığımız soruna
‫bağlı olarak varsayılan bir değerlendirme ölçütü döndürür, belirleme katsayısına döner ve sınıflandırmada ortalama doğruluğu
‫döndürür.
‫Ancak, bir sorunun içine daha fazla girdiğinizde, modelinizin performansını değerlendirmek için daha güçlü metrikler
‫kullanmaya başlamak isteyebilirsiniz.
‫Ve doğal olarak, skor kullanımından bir sonraki adım özel bir skorlama parametresi kullanmaktır.
‫Burada gördüğümüz gibi, bu bir tahmine, bir skor yöntemine baktık ve şimdi çapraz doğrulama
‫kullanarak bir skorlama parametresi model değerlendirme araçlarını kullanmaya bir göz atacağız.
‫Bunun ne olduğunu görmemiz gerekebilir.
‫Öyleyse hadi içine dalalım.
‫Hey, yapacağımız şey bu işi çözmek.
‫Şimdi, önümüzdeki birkaç video için bana katlanmanız gerekecek çünkü burada oldukça fazla şey ele alacağız.
‫Bunun nedeni, bir makine öğrenimi modelini değerlendirmenin çok önemli bir adım olmasıdır.
‫Bazı veriler üzerinde bir uyum fonksiyonu çağırmak bir şeydir, ancak bir sonraki en önemli şey, Hey, bu
‫model gerçekten çalışıyor mu?
‫Bir şey mi öğreniyorsun?
‫Bunu geleceği tahmin etmek için kullanabilir miyiz?
‫İşte bu yüzden burada pek çok konuyu ele aldığımızdan emin olmaya çalışıyorum.
‫Öyleyse başlayalım.
‫Yapacağımız şey ölçekten gitmek, model seçimini öğrenmek, çapraz aktarmak, sesli harf skoru.
‫Ve her zaman olduğu gibi, gerçekte neler olup bittiğini incelemeden önce kodu çalıştıracağız.
‫İhtiyacımız olan şey ise bir sınıflandırma kodu.
‫Şimdi yapacağımız şey, bunu kopyalamak.
‫Bu arada bunu kopyalamanıza izin var, çünkü bunu birkaç kez yazdık.
‫Burada yaptığımız tek farklı şey, çapraz sesli harf skorunu siklonlardan, model seçiminden içe aktarmış
‫olmamızdır.
‫Şimdi yapacağımız bir sonraki şey, orada fit dediğimiz için, sadece küçük bir noktalı virgül koyacağız,
‫böylece büyük bir çıktı almayacağız.
‫Ne var biliyor musun?
‫Bu uyarı sürekli geliyor, bu yüzden bunu değiştirmeye devam edebiliriz.
‫Tahmini olarak 100 harikaya eşittir.
‫Ve böylece çapraz sesli harf skoru, içinde kelime skoru var, ama gördük.
‫Bu çapraz sesli harf ne yapıyor?
‫Bir bakalım.
‫Gidip skorumuza bakın.
‫Karşılaştırma yapabilmek için önce test verilerini yapacağız ve sonra aynısını yapacağız.
‫Ancak bu kez çapraz sesli harf skoru, çapraz sesli harf skoru ve çapraz sesli harf skoru kullanarak sınıflandırıcımızı alır.
‫X verilerini alır ve Y verilerini alır, testi değil.
‫Ve tren değil.
‫Neler olduğunu birazdan göreceğiz.
‫Ha?
‫Ne oluyor burada?
‫Ve yine bir uyarı daha alıyoruz.
‫Bu sadece CVE'nin varsayılan değerinin 3'ten 5'e değişeceğini söylemek içindir.
‫Yani bu vardiya sekmesine bir göz atarsak.
‫Doküman dizisini okuyalım.
‫Çapraz doğrulama ile bir skorun değerlendirilmesi.
‫Çapraz doğrulama nedir ki?
‫Bu yüzden CV bize bir uyarıda bulunacak.
‫Bu uyarının geldiği yer burası.
‫Bunu CV eşittir'den değiştirirsek, varsayılan değer üçtür.
‫Beş olarak değiştirirsek, bu uyarı ortadan kalkacaktır.
‫Ve şimdi beş farklı skordan oluşan bir dizi elde edeceğiz.
‫Hmm.
‫Muhtemelen fark edeceğiniz ilk fark bu olacaktır.
‫Çapraz sesli harf skoru bir dizi döndürürken, skor yalnızca tek bir sayı döndürür.
‫Tamam.
‫Peki bunu nasıl anlayabiliriz?
‫Çapraz doğrulamanın ne olduğunu bulmamız gerekiyor çünkü sonuçta çapraz sesli harf skorunun yaptığı
‫şey bu.
‫Doküman dizisine geri dönün.
‫Lucky üzerinde çapraz doğrulama yaparak bir puanı değerlendirin.
‫İşte bunu göstermek için daha önce hazırladığım bir şey.
‫Ve her zaman olduğu gibi, bazı şeyleri daha iyi anlıyorum.
‫Görsel olarak, çapraz doğrulamanın ne yaptığını göstermek için aynı şeyi yapabilirsiniz.
‫Yani daha önce normal antrenman ve test bölümümüzde yaptığımız şey.
‫Bu yüzden verilerimizi eğitime ayırdık.
‫Yani bu bir konaklama olabilir.
‫İşe 100 hasta kaydıyla başladık.
‫Bir eğitim bölümüne ayırırdık.
‫Bizim durumumuzda, %80 kullandık ve bu X eğitimini içerecek ve 80 örneği eğitiyoruz ve burada 100 sayısını
‫kullandım.
‫Bizde bundan daha fazlası var.
‫Ancak bunun nedeni, rakamların burada görsel olarak daha iyi çalışmasıdır.
‫Ve test veri setimizde, X testini içeren verilerin %20'sine sahibiz ve test ediyoruz.
‫Şimdi burada çapraz doğrulama ile aradaki fark ve bizim durumumuzda, buradaki görüntü beş kat çapraz doğrulamayı
‫göstermektedir.
‫Muhtemelen çapraz doğrulamanın K katlama olarak adlandırıldığını göreceksiniz; burada K keyfi bir sayıdır.
‫Beşi kullanmamızın nedeni, buraya geri dönersek CV'nin orada beşe eşit olmasıdır.
‫Bu da çapraz doğrulama anlamına gelir.
‫Bahsettiğim şey, test boyutu için %20 kullanarak verilerimizi eğitim ve test olarak bölmek.
‫Bu da doğal olarak diğer %80'in eğitim verilerine gittiği anlamına gelir ki buradaki küçük bölünme de buradan gelmektedir.
‫Şimdi, çapraz doğrulamanın yaptığı şey beş farklı bölme yapmaktır, bu yüzden ilk %20'yi kullanacaktır.
‫Burada son %20'lik kuyruğun nasıl kullanıldığına bakın.
‫Böylece burada bir test veri seti ve burada bir eğitim veri seti oluşturacaktır.
‫Sonra buraya geçecek ve bunu test veri seti olarak kullanacaktır.
‫Ve sonra tekrar ve tekrar ve tekrar.
‫Çapraz doğrulama, modelin beş farklı versiyonunu eğitir ve ardından her bir eğitim verisi üzerinde
‫eğitilen bu modelleri test verilerinin beş farklı versiyonu üzerinde değerlendirir.
‫Peki bunun amacı ne?
‫Tahmin edebileceğiniz gibi, yalnızca bir modeli eğitiyorsak, bu şanslı bir bölünme olabilir, örneğin, satırların
‫%80'inin bir sürü bilgiye sahip olduğunu ve modelin bu 80 satırda, bu 80 hasta kaydında gerçekten
‫iyi öğrenebildiğini söyleyebiliriz.
‫Ve sonra bu test setinde gerçekten iyi bir puan aldı.
‫Bu, modelimizin verileri nasıl anlayacağını veya verilerdeki kalıpları nasıl çözeceğini doğru bir şekilde yansıtıyor
‫mu?
‫Pek sayılmaz.
‫Doğru, çünkü bu sadece şans, değil mi?
‫Bunu rastgele bölüyorsak ve bir şekilde bir grup kolay hasta kaydı buraya geldiyse ve modeller belirli
‫kalıpları çözdüyse ve buraya bu test veri setine gittiyse.
‫Ve harika bir puanı var.
‫Kendimizi kandırıyor olabiliriz.
‫Modelimizin gerçekte olduğundan çok daha iyi olduğunu düşünerek kendimizi kandırıyor olabiliriz.
‫İşte bu noktada çapraz doğrulama devreye giriyor.
‫Tüm veriler üzerinde eğitim yapmamaya ve verilerin sadece tek bir bölümünde şanslı skorlar elde etmekten kaçınmaya bir çözüm
‫sağlamayı amaçlamaktadır.
‫Böylece beş farklı bölme oluşturacaktır.
‫Yani ne olursa olsun, modelimiz tüm veriler üzerinde eğitilecek ve tüm veriler üzerinde değerlendirilecektir.
‫İşte bu yüzden geri dönersek.
‫Çapraz sesli harf skorunu görmek için.
‫Bu yüzden bize burada beş farklı skor veriyor.
‫Şimdi mantıklı gelmeye başladı.
‫Dolayısıyla, score parametresini yalnızca X Test verilerimiz ve Y test verilerimiz üzerinde çağırırsak, tek bir puan verecektir.
‫Ancak buradaki grafiğe geri döndüğümüz için çapraz sesli harf skoru dersek, beş farklı bölme yapacaktır.
‫Ve unutmayın, beş kat sadece keyfi bir sayıdır.
‫On kat yapabilirsin, üç kat yapabilirsin.
‫100 kat bile yapabilirsiniz.
‫Ancak beş kat kütüphanenin varsayılanıdır ve verilerinizin boyutuna bağlı olarak genellikle oldukça iyidir.
‫Burada göstermek için beş kat kullanacağız.
‫Sadece sana kanıtlamak için.
‫Buraya girebiliriz.
‫Çapraz sesli harf skoru.
‫On tane bile yapabiliriz.
‫Yani bu, bunun tam olarak aynısı olan on farklı bölme yapacağı anlamına geliyor.
‫Ve sonra on farklı skor döndürün.
‫Burada gördüğünüz gibi, bu birinci bölümde harika bir örnek, 0 puanı var. 9, yani burada daha yüksek olan
‫%90 olabilir.
‫Ancak daha sonraki bir bölünmede, çok daha düşük bir değer var, 72.
‫Burada yaptığımız şey, modelimiz için daha ideal bir performans ölçütü veya değerlendirme ölçütü
‫bulmaktır; bu beş puanın ortalamasını alabiliriz.
‫Olduğunu görelim.
‫Hepsini tek bir hücrede yapacağız, rastgele tohum.
‫Ve yapacağımız şey, tek bir eğitim ve test bölünmüş skoru elde etmektir.
‫CLF tek puanının CLF puanı X testine eşit olduğundan emin olacağım.
‫Burada da aynı verileri kullanacak Y testi.
‫Harika.
‫Ve sonra beş kat çapraz doğrulama puanının ortalamasını alacağız.
‫Clef çapraz sesli harf puanı eşittir np ortalama o zaman çapraz sesli harf puanına ihtiyacımız var x oh hayır sınıflandırıcımızı
‫x y'ye geçirmemiz gerekiyor ve CV eşittir beş ve sonra kullanacağız.
‫İkisini karşılaştır.
‫Yani canlı bir single göreceğiz.
‫Okulu ve ardından SEAL F Cross Val Okulu.
‫Byrne Peki burada ne görüyoruz?
‫Bizim durumumuzda.
‫Orijinal tek puanımız, ki şimdi burada aşağıdadır, aynı test verilerini kullanarak rastgele
‫bir tohum kullandığımız için tam olarak aynı sayıdır.
‫Tek puanımız 0. 85.
‫Ancak çapraz doğrulama kullandığımızda, KV beşe eşit olduğu için beş bölme kullandığımızda, 0 puan
‫alırız. 82.
‫Yani biraz daha düşük.
‫Ancak bu durumda, modelinizin doğruluğunu raporlamanız istenirse, daha düşük olsa bile,
‫çapraz doğrulama metriğini çapraz doğrulama olmayan metriğe tercih edersiniz.
‫Şimdi ne olacak?
‫Puanlama parametresini hiç kullanmadık bile.
‫Bunun nedeni, varsayılan olarak hiçbiri olarak ayarlanmış olmasıdır.
‫Bir göz atalım.
‫Puanlama parametresi yok olarak ayarlandı.
‫Varsayılan olarak.
‫Yani çapraz sesli harf skorunu C, l, f, x, y, CV olarak adlandırırsak, skorlamayı buradan geçirebiliriz ve hiçbiri olarak ayarlanacaktır.
‫Eğer bu sekmeyi değiştirirsek, bunu nasıl bilebilirim?
‫Neyse ki docstring işe yarıyor.
‫C Varsayılan olarak hiçbiri olarak ayarlanmıştır.
‫Yani aşağıya doğru kaydırmaya devam edersek.
‫Not defterimizi taşıyın, böylece puanlama dizesi çağrılabilir veya yok isteğe bağlı varsayılan yok OC bir dize C modeli değerlendirme belgesidir.
‫Biz de buraya baktık.
‫Veya bir skor, skor tahmini x y imzasına sahip çağrılabilir bir nesne eğik çizgi işlevidir
‫ve hiçbiri yoksa yalnızca tek bir değer döndürmelidir, tahmin varsa varsayılan skorlayıcı kullanılır.
‫R Tamam, şimdi bunun doğruluk olduğunu bilmemizin nedeni budur, çünkü Crosswell skorunun puanlama parametresi
‫hiçbiri değilse, bir baykuş durumunda tahminimizin varsayılan puanlama parametresini kullanır.
‫Ne oldu?
‫Sınıflandırıcının
‫varsayılan puanlama parametresi ortalama doğruluğa eşittir.
‫Peki bunu son videoda görmeden önce nerede görmüştük?
‫Canlı bir skoru görmeye gittiğimizde ve shift sekmesine bastığımızda, verilen test verileri ve etiket üzerindeki ana doğruluğu döndürür.
‫Yani puanlama yok olarak ayarlandığında, sınıflandırıcımızda çapraz doğrulama için varsayılan değerlendirme
‫metriğini kullanacaktır.
‫Yani shift ve enter'a basarsak.
‫Aynı değerleri döndürecektir.
‫Ya da biraz farklı olabilir, değil mi?
‫Çünkü bu hücreye bir tohum yerleştirmedik.
‫Dolayısıyla bu değerler yukarıda gördüğümüz çapraz hücre skorundan farklı olacaktır.
‫Eğer burada çalıştırsaydık, benzer değerler görürdük.
‫Burada neleri ele aldık?
‫Tahmin edebileceğiniz gibi, puanlama parametresi değiştirilebilir.
‫Değil mi?
‫Dolayısıyla, dokümanda da belirtildiği gibi, kendi puanlama parametremizi buraya aktarabiliriz.
‫Bunu yoktan başka bir şey olarak değiştirebiliriz.
‫Bu konuyu ele almaya başlayacağız, değil mi?
‫Önümüzdeki birkaç videoda çapraz doğrulama ile kullanabileceğimiz diğer bazı sınıflandırma modeli
‫değerlendirme metriklerine göz atacağız.
‫Gördüğümüz gibi, çapraz doğrulamayı kullanırken.
‫Resimdeki.
‫Çapraz Doğrulama, tüm veriler üzerinde eğitim yapılmaması sorununu çözmeyi amaçlar.
‫Doğru.
‫Böylece beş model oluşturuyoruz ve sonunda tüm veriler üzerinde eğitilmiş bir modele sahip oluyoruz ve şanslı puanlar
‫almaktan kaçınıyoruz.
‫Yani tek bir bölüm üzerinde çalışıyorum.
‫Ve biz bunu iş başında gördük.
‫Buradaki tek bölünmüş puanımız, çapraz doğrulama puanımızdan biraz daha yüksek bir puan alıyor.
‫Whoo!
‫Bu çok fazla.
‫Şimdi, hala biraz daha yolumuz var.
‫Biraz derinlemesine sınıflandırma ölçümleri yapalım.
‫Bir sonraki videoda görüşürüz.