‫Son videoda modelimizin yanlış pozitif oranını, doğru pozitif oranını ve hangi eşik değerlerini hesaplamaya
‫devam ettik?
‫Kaya eğrisi fonksiyonunu kullanarak.
‫Şimdi, yanlış pozitif oranını bir şekilde geri aldık, ancak bu bir dizi sayıdan oluşuyor.
‫Dolayısıyla, buna tekrar bakmak pek bir anlam ifade etmemektedir, ancak bunu çizmek ve ROC eğrisini görmek,
‫gerçek ROC eğrisi biraz daha anlamlı olacaktır.
‫Yapacağımız şey, risk eğrilerini çizmek için bir fonksiyon oluşturmaktır.
‫Şimdi, harita çizimi lib bölümünde gördüğümüz gibi, birden fazla çizim yapmanız gerektiğinde, aynı çizimden daha
‫fazlasını yapmak istiyorsanız sizin için çizim yapan bir işlev oluşturmak isteyebilirsiniz.
‫Burada yapacağımız şey de bu.
‫ROC Eğrisi çizim fonksiyonunu nasıl oluşturabileceğimize dair bir örnek görelim.
‫Öncelikle, pasta grafiğini değil harita grafiğini içe aktaracağız.
‫Pelt beautiful olarak adlandıracağız ve buna güzel ve basit plot rock eğrisi diyeceğiz.
‫Yanlış pozitif oranını ve doğru pozitif oranını alacaktır.
‫O zaman buraya geleceğiz.
‫Güzel bir docstring bırakacağız.
‫Bu da iletişimsel açıdan bir anlam ifade ediyor.
‫Çizimler, yanlış pozitif verilen kaya eğrisidir.
‫Doğru.
‫Modelin PR ve gerçek pozitif oranı TPR harika güzel ve basit gitme grafiği ham eğri grafiği nokta grafiği.
‫Ona yanlış pozitif oranını ve doğru pozitif oranını ileteceğiz ve ona bir renk okulu vereceğiz.
‫Bunların bu kütüphaneler olduğunu unutmamalıyız.
‫Amerikan yazımını ele alalım.
‫Buraya turuncu ve ardından Roc eğrisi için pembe eşittir etiketi koyuyoruz.
‫Sonra da tahmin gücü olmayan bir olay örgüsüne geçeceğiz.
‫Bu bir temel olacak.
‫Olay örgüsü ortaya çıktığında göreceksiniz.
‫Biraz daha mantıklı olacak.
‫Bu şekilde modelimizi, hiçbir şey öngörmeyen başka bir keyfi modelle karşılaştırabiliriz.
‫Sıfır bir.
‫Harika.
‫Ve renk koyu mavi çizgi stili olacak.
‫Noktalı tutacağız.
‫Aslında, bu sadece iki tanedir, bu yüzden ROC eğrimizden farklı görünür ve etiket tahminidir.
‫Çizim yaparken bu çizgiyi göreceksiniz.
‫Temelde modelimiz sadece tahminde bulunuyormuş gibi.
‫Sonra da gidip bir plan hazırlayacağız.
‫Soluk mavi nokta x etiketi.
‫Bu yanlış pozitif doğru f PR olacak ve sonra bir patates y etiketi alacağız.
‫Bunun ne olduğunu tahmin edebilirsiniz.
‫Bu gerçek pozitif orandır.
‫Bunun nedeni, PR'yi X etiketi ve TPR'yi Y verisi gerçek pozitif oranı olarak almamızdır.
‫Sonra da alıcının çalışma karakteristiğine geçeceğiz.
‫Ah.
‫Anlıyorum.
‫Bu, kaya eğrisini soran birine verebileceğiniz türden bir çizimdir.
‫Değil mi?
‫İşte bu yüzden size bu programı gösteriyorum.
‫Ve muhtemelen çevrimiçi olarak farklı sınıflandırma problemlerine göz attığınızda bu tür bir olay örgüsüyle de
‫karşılaşacaksınız.
‫Modelin nasıl çalıştığına dair bir örnek olarak kaya eğrisini kullanabilirler.
‫1 Nisan'da TPR istiyoruz.
‫Çok güzel.
‫Yani bu işe yaramalı.
‫Harika.
‫Burada neler oluyor?
‫Sonunda bir kaya eğrisinin neye benzediğini görebiliyoruz.
‫Eğer buraya gidersek, yanlış pozitif oranı 0 ise. 6, gerçek pozitif oranı 1 olacaktır. 0.
‫Yani alabileceği maksimum puan 1'dir. 0 yukarı.
‫Köşeden köşeye giden bu model bir tahminde bulunuyor.
‫En ideal kaya eğrisinin nerede sonlanabileceğini tahmin edebilir misiniz?
‫Eğer bu bir tahminden ibaretse ve modelimiz %80, %85, %82 gibi bir oranla tahminden çok daha iyi bir performans gösteriyorsa.
‫En ideal eğrinin nereye gideceğini tahmin edebilir misiniz?
‫Sorun değil.
‫Eğer gelirsen, ona bir göz atacağız.
‫Bunu yapmadan önce, aslında, AUC skoruna bir göz atalım.
‫Bunu Skyline Import ROC, AUC skorundan yapabiliriz.
‫İşte bu noktada ROC'den AUC devreye girmektedir.
‫Peki Arianda eğrisi veya alıcı işletim karakteristiğini duyduğunuzda, AUC skoru nedir?
‫Ve bunu yapabilmemiz için, bunu iş başında görelim.
‫Bu, olasılıkların yanı sıra test etiketlerini de alır.
‫Pekala.
‫O zaman biz de yapabiliriz.
‫İhtiyacımız olan şey.
‫Olumlu yönleri.
‫İşte oldu.
‫Peki bunu nereden biliyordum?
‫Docstring y true y skor.
‫Harika.
‫Peki bu metrik nedir diye soruyor olabilirsiniz?
‫Unutmayın, AUC eğri altındaki alan anlamına gelir.
‫Eğer eğrimizi hesaplayacak olursak, bunu bir saniyeliğine göz ardı edelim.
‫Şundan kurtulalım.
‫Yani eğer eğrimizi alırsak.
‫Bu sene.
‫Biraz pürüzlü bir eğri ama yine de bir eğri.
‫Ve eğer alanı ölçecek olursak, buranın altındaki her şeyi gölgelendirin, tüm bunları gölgelendirin ve hesaplayın.
‫Bir tane de burada var.
‫Burada biraz boşluk var.
‫Yani bizim bölgemiz kesinlikle bir bölge olmayacak.
‫Puanımız 0 olacak. 84, yani 0. 849.
‫Şimdi alabileceğiniz maksimum puanı, bir AUC puanı ile tahmin edebilir misiniz?
‫Yani eğrinin altındaki alan, alabileceğiniz maksimum puan 1'dir. 0.
‫Bu da eğrinin düz bir şekilde bu köşeye ve düz bir şekilde bu köşeye gittiği anlamına
‫gelir.
‫Şimdi bunu çalışırken görelim.
‫Eğer mükemmel bir kaya eğrisi ve bir U çizeceksek. S. puan, bu yüzden f pr tpr eşikleri eşittir
‫kaya eğrisine gideceğiz.
‫Git.
‫Neden test?
‫Şimdi burada fonksiyonumuzu kullanacağımız kaya eğrisini çizeceğiz.
‫Birden fazla kaya eğrisi çizmek istediğimiz için bunun nerede kullanışlı olduğunu görün.
‫TPR için TPR yapalım.
‫Yani burada mükemmel bir kaya eğrisi var.
‫Buradaki eğrinin altındaki alan.
‫Ne olduğunu tahmin edebilir misin?
‫Sadece konuştuk.
‫Çok mükemmel.
‫AUC puanı ROC'dir.
‫AUC skoru.
‫Neden test?
‫İşte bu bir. 0.
‫Dolayısıyla gerçekte, mükemmel bir kaya eğrisi pek olası değildir.
‫Bu da mükemmel bir modeliniz olduğu anlamına gelir.
‫Hiç yanlış pozitif yok.
‫Her şey gerçekten olumlu.
‫Eğer 1'i görürsek. 0, işte bir kaya IAC puanı.
‫Bu, modelinizin doğru şeyi tahmin edip etmediğini görmek için bir tür bayrak kaldıracak mı?
‫Burada bir kaya eğrisinin öngördüğü ana ayrıntı, gerçek pozitif oranına karşı yanlış pozitif oranıdır.
‫Ve bunu özetlemek için kullanabileceğiniz ana metrik, sadece bir eğri olmak yerine, AUC skorunu kullanabilirsiniz.
‫Yani bir kaya eğrisini hesaplamak için yaptığınız şey budur.
‫Birisi sizden modeliniz için bir kaya eğrisi hesaplamanızı isterse ve bu eğri yanlış pozitif oran ile gerçek
‫pozitif oranı karşılaştıracaksa.
‫Şimdi kaya eğrilerini, eğrinin altındaki alanı gördük.
‫Bir sonraki sınıflandırma ölçütüne veya bir sınıflandırma modelini değerlendirmenin
‫bir sonraki yoluna bir göz atalım ve bu da bir karışıklık matrisidir.