‫Bu nedenle, bakacağımız son sınıflandırma modeli değerlendirme ölçütü bir sınıflandırma
‫raporudur.
‫Ve şimdi gerçekten bir sınıflandırma raporu da tek bir rapordan ziyade farklı değerlendirme metriklerinin bir koleksiyonudur.
‫Rapor da buradan geliyor.
‫Bu, sınıflandırma modelimizi değerlendiren bir dizi farklı parametrenin bir raporu gibidir.
‫Bakalım.
‫Biri iş başında.
‫Yani Skyline Dot Matrix İthalat Sınıflandırma Raporundan.
‫Bunu yapmak için.
‫Sadece bazı gerçek etiketleri ortaya koyuyoruz.
‫Tamam.
‫Y testi ve bazı tahminler.
‫Yani bir kez daha, bu değerlendirme ölçütü sadece verilerimizin gerçek etiketleri ile modelimizin yaptığı tahminleri karşılaştırmaktadır.
‫Bakalım burada ne olacak.
‫Tamam.
‫Bir kaç şey oluyor.
‫Hassasiyet geri çağırma f F1 puanı desteği sıfır belki de bu sıfır dört sınıfı içindir, kalp hastalığı bir
‫değil.
‫Belki de kalp hastalığı içindir.
‫Eğer aşağı inersek, isabetli oluruz.
‫0. 75 makro ortalama.
‫Ağırlıklı ortalama.
‫Hmm.
‫Burada neler oluyor?
‫Şimdi açılış konuşmamıza geçelim ve Anatomi sınıflandırma raporumuza bir göz atalım.
‫Burada da aynı şeyi görüyoruz.
‫Sadece sınıflandırma raporunu içe aktarın.
‫Test etiketleri ve tahminler üzerinde bir tane yaptık, burada biraz farklı rakamlar var.
‫Defterimizde ne var?
‫Ama sorun değil.
‫Peki hassasiyet ya da kesinlik nedir, pozitif tanımlamaların oranını gösterir.
‫Yani bir. k. a modelinin birinci sınıfı tahmin ettiğini ve bu tahminlerin aslında doğru olduğunu göstermiştir.
‫Şimdi, hiç yanlış pozitif üretmeyen bir modelin hassasiyeti birdir.
‫İşte hassasiyet puanlarımızı burada görebiliriz.
‫Model yanlış pozitif üretmediyse ve modelimizin üretmediğini biliyoruz çünkü sınıflandırmaya
‫veya karışıklık matrisine baktık ve bazı örneklerde kafasının karıştığını ve bunları yanlış pozitif olarak tahmin
‫ettiğini gördük.
‫Yani hassasiyet puanlarımız birden biraz daha düşük.
‫Şimdi bir sonraki geri çağırma.
‫Dolayısıyla geri çağırma, doğru sınıflandırılan gerçek pozitiflerin oranını gösterir.
‫Şimdi, hiç yanlış negatif üretmeyen bir modelin geri çağırma değeri 1'dir. 0.
‫Ve yine, kafa karışıklığı matrisimizden durumun böyle olmadığını biliyoruz.
‫Bu yüzden geri çağırma oranımız biraz daha düşük.
‫Şimdi F1 skoru hassasiyet ve geri çağırmanın bir kombinasyonudur.
‫Mükemmel bir model 1 F1 puanına ulaşır. 0.
‫Tamam, F1 puanımızın 1 olmadığını gördüğümüzde. 0, ama yine de nispeten yüksek, o zaman desteğe gidersek.
‫Her bir metriğin hesaplandığı örnek sayısı.
‫Yani burada görüyoruz.
‫Yani bu 29'a baktığımız anlamına geliyor.
‫Buna bakacak olursak, bu dört sıfır ve burada da 61.
‫Bu da buradaki metriklerin 61 farklı örnek üzerinden hesaplandığı anlamına gelmektedir.
‫Ve buradaki metrikler, sınıf etiketi sıfır olan 29 örnek üzerinde hesaplayacaktır ve
‫bu da sınıf etiketi bir olan 32 örnektir.
‫Tamam, kalp hastalığı var.
‫Ve eğer bunları 29 artı 32 olarak toplarsanız 61'e ulaşırsınız.
‫Şimdi, doğruluk, bunu daha önce de gördük.
‫Bu sadece modelin ondalık formdaki doğruluğudur.
‫Mükemmel doğruluk 1'dir. 0, yani modelimiz zamanın %100'ünde doğru tahminler yapıyor.
‫Eğer doğruluğu 1 ise. 0 ise, o zaman makro ortalamaya bakarız.
‫Bu ne şimdi?
‫Tahmin edebileceğiniz gibi makro ortalamanın kısaltmasıdır.
‫Yani sınıflar arasındaki ortalama hassasiyet geri çağırma ve F1 puanlarıdır.
‫Şimdi buradaki kilit nokta, makro ortalamanın sınıf ve dengeyi hesaba katmamasıdır.
‫Yani bu bir sayımmış gibi davran.
‫Dolayısıyla, sınıf dengesizlikleriniz varsa, bu metriğe dikkat edin.
‫Peki, bizim durumumuzda sınıf dengesizliği nedir?
‫Bizim örneğimize bakacak olursanız, burada sınıf dengesizlikleri yok.
‫Nedenmiş o?
‫Çünkü sıfırıncı ve birinci sınıfa sahip nispeten aynı miktarda örneğimiz var.
‫Yani burada yaklaşık 5050 kişi var.
‫Tam olarak 5050 değil, ama 60 tane birinci sınıf ve bir tane de sıfırıncı sınıf örneğimiz
‫yok.
‫Yani her birinde yaklaşık 30 kişi var.
‫Dolayısıyla, sınıf dengesizlikleriniz varsa, şimdi makro ortalamanızı gerçekten kontrol etmek istersiniz
‫çünkü örneğimizde sınıflar nispeten dengelidir.
‫Bu nedenle makro ortalama ve ağırlıklı ortalama kısa dört ağırlıklı ortalama AVG, ağırlıklı ortalama bir
‫hassasiyet geri çağırma ve F sınıflar arasında bir puan ağırlıklı, her metriğin her sınıfta
‫kaç örnek olduğuna göre hesaplandığı anlamına gelir.
‫Dolayısıyla bu ölçüt çoğunluk sınıfının lehine olacaktır.
‫Örneğin, bir sınıf daha fazla örneğe sahip olduğu için diğerinden daha iyi performans gösterdiğinde yüksek bir değer vereceğiz.
‫İşte bu yüzden bizim değerlerimiz burada.
‫Oldukça benzer çünkü dengeli sınıflarımız var.
‫Şimdi ne tür bir durumda bu değerlerin ayarsız olacağını düşünüyor olabilirsiniz, değil
‫mi?
‫Mesela bu nerede olabilir?
‫Ayrıca burada bir sürü farklı metrik öğrendiğimizi düşünüyor olabilirsiniz.
‫Defterimize geri dönüyoruz.
‫Sınıflandırma raporlarının üzerinden geçtik, karışıklık matrisi yaptık, doğruluk yaptık, ROC Eğrisi
‫altındaki alanı yaptık.
‫Peki bunların her birini ne zaman kullanmalıyım?
‫Şimdi onları gözden geçirdik.
‫Şöyle düşünmek cazip gelebilir: Peki, neden kavramakta gerçekten zorlandığım
‫diğerlerini bir kenara bırakıp sadece doğruluğu iyi bir şekilde kullanmıyorum?
‫Bir örnek verelim.
‫Bakalım diğer ölçütler ne zaman devreye girecek.
‫Ve belki de sadece doğruluğu kullanmamalısınız çünkü bu, sınıflandırma modelleri oluşturmaya
‫ilk başladığımda yakalandığım bir tuzaktı, "Evet, modelim yüzde 90 artı doğruluk elde ediyor" diyordum.
‫Harika bir model olmalı.
‫Bir senaryo görelim.
‫Örneğin, diyelim ki 10.000 kişi var ve bunlardan birinde bir hastalık var ve sizden kimin bu hastalığa sahip olduğunu tahmin
‫etmek için bir model oluşturmanız isteniyor.
‫Tamam.
‫O zaman bunu gerçekten yapalım.
‫Şunu kodlayalım.
‫İşte bu noktada hassasiyet ve geri çağırma değerli hale gelir.
‫Ve aslında, sınıflandırma raporumuzdaki tüm ölçütler burada değerli hale geliyor.
‫Yani hastalık.
‫Doğru.
‫Yani 10.000 kişi vardı ve içlerinden birinin hastalığı vardı.
‫Yani yapabileceğimiz şey, 10.000 kişilik bir hakem dizisi oluşturmak ve sonra bunlardan birini değiştirmek olabilir.
‫Hastalığı heceleyebiliyorum.
‫Yani hastalık sıfırıncı endeksi bire eşittir.
‫Yani sadece bir olumlu vaka var.
‫Sonra buraya gelip modelimizin öngördüğünü ya da hastalık yayılımının NP Zero'nun 10.000'ine eşit olduğunu söylersek.
‫Bu da modelin her vakayı sıfır olarak tahmin ettiği anlamına gelmektedir.
‫Tamam.
‫Ve sonra yapacağımız şey, bu sınıflandırma raporunu görselleştirebilmemiz için bir veri çerçevesi oluşturmaktır.
‫Bizim modelimiz de bunu yaptı.
‫Değil mi?
‫Burada olan şey bu.
‫Hastalık.
‫Doğru.
‫Yani sadece bir pozitif vaka var, 10.000'de bir.
‫Bir model oluşturduk ve modelimiz her bir vakanın sıfır olduğunu öngörüyor.
‫Yani bir tahmini kaçırıyor.
‫Bir sınıflandırma raporu oluşturursak ne olur, böylece hastalığa gideriz.
‫Doğru.
‫Buraya geldik.
‫Hastalık yayılır.
‫Bu küçük parametreyi bir veri çerçevesine sığacak şekilde aktarmak istiyorum.
‫Yani çıktı diktesi eşittir geçiş.
‫Tamam.
‫Evet.
‫Ne oluyor burada?
‫Şuna bakıyoruz, bu da yukarıdaki sınıflandırma raporunun bir başka formatı.
‫Eğer bunu yapmasaydık.
‫Hata veriyordu.
‫Yani bu sadece neler olduğunu görselleştirmek için.
‫Doğru.
‫Bu, çok büyük bir sınıf dengesizliğine sahip olduğunuzda doğruluk dışında başka bir metrik kullanmak
‫isteyeceğiniz en iyi örnektir.
‫Yani bizim durumumuzda, büyük bir sınıf dengesizliğimiz var çünkü orijinal veri setimizde bunlar
‫doğru mu?
‫Sadece tek bir örnek var, yani etiketin bir ve diğer her şeyin sıfır olduğu sadece tek bir
‫örnek.
‫Her durum için sıfır tahmin eden bir model oluşturduk, değil mi?
‫Çünkü bu sadece bir örnek.
‫Dolayısıyla, bu özel vaka için bir model olduğunu öğrenmek gerçekten zor.
‫Her şey için sıfır tahmininde bulunan modelimizin doğruluğunu ölçecek olursak,
‫doğruluk oranı 0 çıkacaktır. 99 ya da başka bir deyişle %99.
‫Model 99'a ulaşmış olsa da kendinize sorun. 99 doğruluk, model hala kullanışlı mı?
‫Doğru.
‫Bu nedenle makro ortalama gibi diğer ölçütlere bakıyoruz.
‫Modellerimizin burada düştüğünü görebiliyoruz.
‫Hassasiyette, aslında birinci sınıf için sıfır hassasiyet elde ediyor, bu da mantıklı çünkü
‫birinci sınıfı bile tahmin etmedi.
‫Ve burada sıfırıncı sınıfta temel olarak %100 alıyor çünkü sadece sıfırıncı sınıfı tahmin etti.
‫Dolayısıyla bu, sınıflandırma modelleriniz için yalnızca doğruluk değil, geniş bir değerlendirme ölçütleri
‫yelpazesi kullandığınızdan emin olmak istediğiniz bir tür kullanım senaryosudur.
‫Ve şimdi bir sınıflandırma algoritmasını değerlendirmek için kullanabileceğiniz metriklerden sadece bazılarına
‫değindik, ancak birkaç tane daha var.
‫Daha fazlasına göz atmak isterseniz, buraya gidiyoruz, model değerlendirme, soket, öğren.
‫Belgelere bakacağız.
‫Eğer buraya gelirseniz, buradaki bölüme bir göz atmak için biraz müfredat dışı bir şey yapmış olursunuz.
‫Bu yüzden tek yaptığım, model değerlendirmesi için soket kredi belgelerine girmek oldu.
‫Sınıflandırmaya geliyoruz, burada birkaç tanesini görebiliyoruz, ele aldıklarımızı.
‫Bu nedenle, ele aldıklarımız muhtemelen kullanmak isteyeceğiniz asgari düzeydedir, değil mi?
‫Yani doğruluk eğrisinin altındaki alan veya AUC karışıklık matrisi ve Sınıflandırma Raporu.
‫Bu yüzden bunları alet çantanızda bulundurun ve daha fazlasına ihtiyacınız olursa, belgelere başvurduğunuzdan emin olun.
‫Böylece sınıflandırmaya özgü değerlendirme ölçütlerimizi tamamlamış olacağız.
‫Bazı daha spesifik regresyon modeli değerlendirme metriklerine göz atacağımız bir sonraki bölüme
‫geçelim.