‫Sınıflandırma modellerimizi değerlendirmenin bir yöntemi olarak doğruluk konusunu ele aldık ve şimdi neden bu konuyu
‫burada bırakmıyoruz diye düşünüyor olabilirsiniz.
‫Buradaki diğer ölçütleri incelemeye başladığımızda, sadece doğruluk yerine birkaç farklı değerlendirme
‫ölçütü daha edinmenin neden önemli olabileceğini anlamaya başlayacaksınız.
‫Benim durumumda, sınıflandırma modellerinin nasıl oluşturulacağını ilk öğrendiğimde, her zaman şöyle düşünürdüm:
‫Evet, daha yüksek doğruluk daha iyidir, değil mi?
‫Ve sonra yavaş yavaş, farklı örneklere baktıktan sonra, tamam, şimdi bunun gibi diğer metrikleri
‫kullanmanın değerini görüyorum, ama bunun hakkında konuşmayalım.
‫İş başında görelim.
‫Ele alacağımız bir sonraki konu, alıcı işletim karakteristik eğrisinin
‫altında kalan alandır.
‫Güzel olan şey, AUC olarak da bilinmesidir, yani eğri altındaki alan veya rock yani alıcı işletim karakteristiği.
‫Hadi şu kaya eğrisini yapalım.
‫Bunlar, eğri altındaki alan ya da kaya eğrisi için dikkat edeceğiniz iki şeydir, belki de
‫buraya koyduk, görüyorsunuz ya da kaya eğrisi güzel.
‫Yani birisinin aiyuk veya rock veya kaya ya da buna benzer bir şeyden bahsettiğini duyarsanız, muhtemelen buradaki
‫bu metrikten bahsediyorlardır.
‫Şimdi, bir kaya eğrisi neyi ölçer?
‫Resmi tanımıyla kaya eğrisi, bir modelin gerçek pozitif oranının (a) karşılaştırılmasıdır. k. bir modelin yanlış pozitif
‫oranına karşı bir TPR.
‫Bunu yazalım.
‫Burada, TPR olarak da bilinen bir modelin gerçek pozitif oranı ile bir modelin yanlış pozitif oranının karşılaştırması yer
‫almaktadır.
‫Doğru, bu aynı zamanda FPI olarak da bilinir.
‫Şimdi merak ediyor olabilirsiniz, tamam, gerçek pozitif nedir ve yanlış pozitif nedir?
‫Şuraya bir göz atalım.
‫Gerçek pozitif Eagles modeli, gerçek bir olduğunda bir tahmininde bulunur.
‫Bu mantıklı mı?
‫Yani bizim durumumuzda, eğer buraya bakarsak, hedeflerimiz bir veya sıfır ise, modelimiz bir tahmin ettiğinde
‫gerçek pozitif olur.
‫Gerçek etiket bir tanedir.
‫Tamam.
‫Evet, bu mantıklı.
‫Buradan yola çıkarsak, yanlış pozitif, gerçek sıfırken modelin bir tahmin etmesidir.
‫Peki buna neden yanlış pozitif deniyor?
‫Çünkü bir tane öngörüyor.
‫Evet.
‫Tamam, pozitif sınıfta kalp hastalığı var, gerçekte ise sıfır.
‫Dolayısıyla, bizim özel durumumuzda, kalp hastalığı sınıflandırma sorunumuz için bir kişinin kalp hastası olabileceğine
‫dair bize yanlış pozitif bir his veriyor.
‫Ve sonra buraya gidersek gerçek bir negatif.
‫Gerçek sıfır olduğunda model sıfır tahmininde bulunur.
‫Yani bu mantıklı.
‫Bu da modelin doğru tahminde bulunduğunu gösteriyor.
‫Gerçekte kalp hastası olmayan birinin kalp hastası olmadığını tahmin etmektir.
‫Bu harika.
‫Ve sonra yanlış negatif eşittir modeli öngörür.
‫Sizce bu ne olacak?
‫Yanlış.
‫Olumsuz.
‫Yanlış pozitiflere bakıyoruz.
‫Yanlış negatif, gerçek bir iken modelin sıfır tahmin etmesidir.
‫Bunun nedeni, aslında kalp hastalığı olduğu halde kalp hastalığı olmadığını tahmin etmektir.
‫Doğru.
‫Artık bunları bildiğimize göre, bir kaya eğrisinin bir modelin gerçek pozitif oranının bir karşılaştırması olduğunu görebiliriz.
‫TPR her yerde yazım hatalarına karşı.
‫İşte Daniel.
‫Hadi ama.
‫Bir modelin yanlış pozitif oranına veya fpr'ye karşı.
‫Artık bunu biliyoruz.
‫Bunu psişik krediler, metrikler kütüphanesi kullanarak yapabilmemiz için iş başında görelim.
‫Kaya eğrisini içe aktaracağız.
‫Bakın nasıl kaya eğrisi diyoruz ya da ben eğri diyorum ve sonra olasılıklarla tahminler yapacağız ve olasılıklarla
‫nasıl tahminler yapabiliriz?
‫Bunu bir öngörüde bulunurken gördük.
‫Bunu y probs equals clf predict prober for probability ile yapabiliriz.
‫X test verileri üzerinde bazı tahminlerde bulunacağız.
‫Şimdi sadece bunu yapabileceğimizden emin olmak istiyorum.
‫Sadece doğru x test verisi x testi olduğundan emin olmak için x testi oluşturuyoruz.
‫Vesaire.
‫Bu yüzden buraya gitmek istiyoruz.
‫X eğitim, x test.
‫Neden eğitim?
‫Neden test eşittir eğitim testi bölünmüş x y test boyutu eşittir 0. 2.
‫Harika.
‫Ve şimdi bunu orada yapabiliriz çünkü bir kaya eğrisi, bir modelin gerçek pozitif oranı ile bir modelin yanlış pozitif oranının
‫bir karşılaştırmasıdır.
‫Sadece olumlu sınıfları tutmak istiyoruz.
‫Bakalım y probs neye benziyor.
‫Neden yönlendirmeler?
‫Bu neden işe yaramadı?
‫Burada ne varmış?
‫Bu rastgele orman sınıflandırması henüz fit olarak adlandırılmamıştır.
‫Oh, bu mantıklı.
‫Yani istiyoruz.
‫Sınıflandırıcıyı yerleştirin.
‫Elbette, bunları uydurmadan, model olmadan, herhangi bir kalıp öğrenmeden tahminlerde bulunamazsınız.
‫O yüzden buraya sığdıracağız.
‫Daha sonra bazı tahminlerde bulunacağız ve buna bir göz atacağız.
‫Belki sadece ilk on.
‫Yani çok fazla yer kaplamıyoruz.
‫Tamam, güzel.
‫Ve bu yüzden bizim kaya eğrimiz.
‫Sadece bir modelin gerçek pozitif oranı ile yanlış pozitif oranının karşılaştırılmasıdır.
‫Sadece modelin pozitif sınıf için tahmin ettiği olasılıkları istiyoruz.
‫Yani burada modellerimizin sıfır ya da bir tahmin etmeye çalıştığını hayal ederseniz.
‫Bu, etiketin sıfır olma olasılığıdır.
‫Ve bu, etiketin bir olma olasılığıdır ve bu, bitene kadar tüm bu örnekler için böyle devam
‫eder.
‫Yani burada test setinde kaç tane varsa o kadar olacak.
‫61, yani bunlardan 61 tane olacak.
‫Yani esasen istediğimiz şey y probs pozitif.
‫Yani bu, olumlu bir sınıf davranışı olma olasılığıdır.
‫Sıfır negatif sınıf ve bir pozitif Y sınıfıdır.
‫Bu yüzden burada biraz dilimleme kullanacağız, ancak bunu yapabilmemiz için her satırın yalnızca bir sütununu kullanacağız.
‫Sadece neler olduğunu bilmen için.
‫Olumlu.
‫Ve yine sadece ilk on tanesine bakacağız.
‫Peki bu mantıklı mı?
‫0 alıyoruz. 43.
‫Evet.
‫0. 77.
‫Evet, 0. 48.
‫Bu böyle devam eder ve tüm sorun listesi için böyle devam eder.
‫Ve şimdi pr, tpr ve eşikleri hesaplayabiliriz.
‫Bu yüzden eşik değerlere göre hareket ediyoruz.
‫Bunu neden biliyorum?
‫Bunu birazdan göreceğiz.
‫Bunun FBR yorumu EPR virgül eşikleri olacağını neden biliyorum?
‫ROC Eğrimiz var, y testini geçeceğiz ve y probs pozitif.
‫Şimdi, bu durumda kaya karanfilinin ne getirdiğini nasıl anlarsınız?
‫Ben olsam shift tab tuşuna basardım ve bu şekilde öğrenirdim.
‫Yani roc eğrisi var.
‫Y alır.
‫Doğru.
‫İşte test etiketlerimiz.
‫Y skoru gerekiyor.
‫Yani bu bizim pozitif sorunumuz.
‫Ve eğer buraya gelirsek, alıcı işletim karakteristik taşını hesaplayın.
‫Evet.
‫Çok güzel.
‫Şimdi parametreler.
‫Neden?
‫Doğru.
‫Neden?
‫Skor.
‫Hedef puanlar, pozitif sınıf güven değerlerinin olasılık tahminleri ya da kararın eşik dışı ölçümleri
‫olabilir.
‫Bu da pozitif sınıfın olasılık tahminleri.
‫Bu dilimi oradan aldık.
‫Doğru.
‫Ve sonra buraya gelirsek, bize artan yanlış pozitif oranları için getirilerimizin ne olduğunu söyleyecektir,
‫öyle ki eleman ie, eşiklerin üzerinde puan alan tahminlerin yanlış pozitif oranıdır.
‫TPR Yani bu gerçek pozitif oran ve eşikler.
‫Bir fonksiyonun ne döndürdüğünü bu şekilde anlayabiliriz.
‫Ve yine, bu sadece bir Jupyter Notebook'ta doküman dizisini görüntülemektir.
‫Bunun için her zaman belgelere bakabilirsiniz.
‫Bunu yapmak isterseniz, Psişik Öğrenme için kaya eğrisi nasıl hesaplanır gibi bir şeye bakabilirsiniz.
‫O zaman yanlış pozitifliği kontrol edeceğiz, değil mi?
‫Güzel görün.
‫Bu da bize büyük bir dizi sağlıyor.
‫Ancak bunlara tek başına bakmak pek bir anlam ifade etmiyor.
‫Görsel olarak görmek çok daha kolay.
‫Cyclone'un bir kaya eğrisi çizmek için yerleşik bir işlevi olmadığından, yapmamız gereken şey şu olabilir
‫ve bununla sık sık karşılaşırsınız, bunu sizin için yapacak bir işlev bulmanız veya kendi işlevinizi
‫yazmanız gerekir.
‫İşte bir sonraki videoda buna bir göz atacağız.
‫Bir kaya eğrisi çizeceğiz ve buradaki bu fonksiyon, kaya eğrisi, sadece bir sayı dizisi olmaktan ziyade biraz daha
‫anlamlı olmaya başlayacak.