‫Şimdi lojistik regresyon modelimizin hiper parametrelerini ayarladık ve burada oldukça iyi bir skor elde ediyor.
‫Ancak bu puanı unutmayın, bir sınıflandırıcı için varsayılan puan doğruluktur.
‫Şimdi yapmak istediğimiz şey, modelimiz etrafında doğruluğun biraz ötesine geçen bazı değerlendirme ölçütleri
‫oluşturmaktır.
‫Daha spesifik olarak, ayarlanmış makine öğrenimi modelimizi oluşturalım.
‫Aslında, makine öğrenimi sınıflandırıcısı muhtemelen daha iyi bir sınıflandırıcıdır çünkü
‫bu değerlendirme ölçütleri sınıflandırmaya özgüdür, bu nedenle doğruluğun ötesine geçeceğiz.
‫Yani yine, daha spesifik olarak, bir ROC eğrisi ve AUC puanı istiyoruz.
‫Ayrıca bir karışıklık matrisi de istiyoruz.
‫Oraya Matrix'ten fırlamış gibi görünen ve içinde bir sürü rakam olan dört tane koyuyorum.
‫Bilirsin, şu akan yeşil ekran.
‫Bir sınıflandırma raporu istiyoruz.
‫Başka ne istiyoruz?
‫Kesinlik, geri çağırma ve f bir puanı istiyoruz.
‫Ve bu harika olurdu.
‫Ve mümkün olan yerlerde çapraz doğrulama kullanılsaydı harika olurdu.
‫Öyleyse bunu markdown'a dönüştürelim.
‫Yani üzerinde çalışacağımız şey bu.
‫Ayarlanmış ızgara aramamızı, lojistik regresyon modelimizi ve bunun için en iyi parametre türünü kullanacağız.
‫Ve birazdan bunların nerede devreye girdiğini göreceğiz.
‫Her şeyden önce, bir modeli değerlendirdiğimizde, her zaman eğitilmiş modelimizin tahminlerinin gerçek etiketlerle
‫nasıl karşılaştırıldığını karşılaştırırız.
‫O halde yapmamız gereken şey önce bazı tahminlerde bulunmaktır, böylece bunları gerçek etiketlerle karşılaştırabiliriz, a. k. a Y test veri kümesindeki
‫etiketler.
‫Hadi yapalım şunu.
‫Peki, karşılaştırma yapmak ve eğitilmiş modelimizi değerlendirmek için buraya bir not yazın.
‫Öncelikle tahminlerde bulunmamız gerekiyor.
‫Yapacağımız şey, ayarlanmış modelle tahminler yapmak olacak ve bunun için kullanabileceğimiz predict adında güzel bir fonksiyon var,
‫bu yüzden onu Y spreads'e kaydedeceğiz ve ızgara arama modelimizin eğitilmiş versiyonu olan
‫GS log rig'i kullanacağız.
‫Yani GS log teçhizatı tahmin etmiyor ve biz de test verilerine dayanarak Preds'in neden harika olduğunu tahmin edeceğiz.
‫Ve delirmediğimizden emin olmak için onları görelim, güzelim.
‫Ve şimdi bunları test veri setiyle karşılaştırmamız gerekiyor.
‫Bu yüzden buraya bir göz atalım.
‫Tamam.
‫Yani sıfıra sıfır gitmek isteseydik, bunu yanlış anladığını bilebilirdik çünkü burada sıfır olması gerekiyordu çünkü buradaki
‫doğru etiketler bunlar ve sonra oradan geçmeye devam edebilirdik, ama bunu yapmayacağız.
‫Bunu yapmak için bazı kodlar kullanmak istiyoruz.
‫İlk olarak bir kaya eğrisi istiyoruz, çünkü burada küçük bir listemiz olduğunu unutmayın.
‫Yani bir kaya eğrisi ve AUC skoru.
‫Hmm.
‫Kaya eğrisi nedir?
‫Eğer bakarsak.
‫Peki kaya eğrisi nedir?
‫Bu süreçten geçtik.
‫Yani AOC Roc eğrisini anlamak.
‫Eğer bunu okuyacak olursak.
‫Elde edeceğimiz kaya eğrisi, çeşitli eşik ayarlarında doğru pozitif oranının yanlış pozitif
‫oranına karşı çizilmesiyle oluşturulur.
‫OC Beautiful.
‫Bunu nasıl yapacağımızı görelim.
‫Kaya eğrisi, gerçek pozitif oranını yanlış pozitif oranıyla karşılaştırarak modelinizin nasıl performans
‫gösterdiğini anlamanın bir yoludur.
‫Gerçek pozitif ve yanlış pozitifin ne olduğunu anlamak istiyorsak, bunun için karışıklık matrisimize
‫bakabiliriz.
‫Yani gerçek pozitif bir model, gerçek bir olduğunda bir tahmininde bulunur ve yanlış pozitif, gerçeğin sıfır olması gerekirken
‫modelin bir tahmininde bulunmasıdır.
‫Ve mükemmel bir model bir AUC puanı alacaktır.
‫1'in bir saniyesinde ne görüyoruz? 0.
‫Nasıl yapacağımızı görelim.
‫Bu yüzden RC eğri fonksiyonunu skyline nokta matrisinden içe aktarın.
‫Oradan geliyor.
‫Orada yaşıyor.
‫Ancak aslında bunu, en üstte kullandığımız diğer tüm satır işlevlerinde olduğu gibi zaten
‫yapmıştık.
‫Tam buraya.
‫Yani bu model değerlendirmeleri şu anda bir sonraki bölümde, bir sonraki videoda, buradan her
‫şeyi ele alacağız.
‫Burada görebileceğimiz gibi, ızgara aramasının rastgele araması, hassasiyet puanı, geri çağırma puanı, F1 puanı
‫kullanmak üzere olduğumuz anahtar karışıklık matrisi çizim eğrisi var.
‫Yani bunlar bizim sınıflandırma modelimiz için.
‫Hadi aşağı inelim.
‫Kendimizi bir satır koddan kurtarabiliriz.
‫Aslında bunu ithal etmek zorunda değiliz.
‫Hemen buraya geri geliyoruz.
‫Gidebiliriz.
‫Roc eğrisini çizin.
‫Şimdi, bu psişik kredi kütüphanesine nispeten yeni bir ekleme, ki bundan çok ama çok memnunum, çünkü genellikle
‫bunları kendiniz yazmak zorundaydınız.
‫Bu fonksiyon, bu çizim eğrisi ve hesaplama aslında bizim için AUC metriğini hesaplar.
‫Eğrinin altında kalan alan metriğini iş başında görelim.
‫Gidip ROC eğrisini çizeceğim.
‫Greg gibi.
‫Bunu dokümantasyonda ararsak, bize ne yaptığını söyleyecek, makine öğrenimi modelimiz
‫Passat, Passat y plot alıcı, çalışma karakteristiği, doğru eğri olan bir tahmin iletecektir.
‫İşte bu bizim işimize yarayacak.
‫Çok güzel.
‫Yani Jes log rig x test ve bunu test veri seti üzerinde yapmasını istiyoruz.
‫Her zaman değerlendirin.
‫Bu hesaplanmalı.
‫Makine öğrenimi modellerini her zaman test veri setinde değerlendirin ve görelim.
‫Oh, çok güzel.
‫Tamam, önceki videolarda gördüğümüz mükemmel kaya eğrisini hatırlayın.
‫Bu köşeye kadar gidiyoruz ve sonra bu şekilde karşıya geçiyoruz, ancak Ted oldukça iyi bir şekilde yükseldiğinden, eğrinin altında bir alan elde
‫ediyoruz.
‫Yani buranın altındaki tüm bu alanı 0 olarak hesaplarsak. 93, elbette mükemmel bir model 1'e ulaşacaktır. 0.
‫Yani modelimiz mükemmel değil ama AUC puanı 0. 93 sadece ortalama.
‫Yazı tura atmak aslında 0 olacaktır. 5.
‫Yani mükemmel bir modele yaklaşıyoruz.
‫Kutudan yeni çıkan bir model için fena değil.
‫Tamam.
‫Yapmak istediğimiz bir sonraki şey bir karışıklık matrisi.
‫Şuna bir bakalım.
‫Yani karışıklık matrisi.
‫Bunu nasıl yapabiliriz?
‫Sanırım tek başına bir işlevi var ve ben bunu bildiğimi sanmıyorum.
‫Yani tek başına bir işlevi varmış gibi.
‫Karışıklık matrisine gidebiliriz ve temel gerçek etiketleri tahmin edilen etiketlerle karşılaştırmak istiyoruz.
‫Tamam.
‫Öylece bırakabiliriz.
‫Bu biraz yavan.
‫Bu karışıklık matrisinin görselleştirmesini kullanarak geliştirebiliriz.
‫Seaborne.
‫Biz de bunu istiyoruz.
‫Bu yüzden gitmek istiyoruz.
‫Sanırım burada zaten deniz taşımacılığımız var.
‫Evet.
‫Hapşırıyor muyuz?
‫Evet, öyle.
‫Bu yüzden bu projede daha önce Seabourn'u kullandık, böylece gidebiliriz.
‫Yapabileceğim şey, daha büyük bir yazı tipi boyutuna ihtiyacımız olduğunu önceden bilmek.
‫Yani yazı tipi boyutu 1'e eşittir. 5.
‫Bu sadece sans nokta seti.
‫Şimdi, başka bir karışıklık matrisi yapmak istersek diye burada küçük bir fonksiyon oluşturacağız.
‫Psişik kafa karışıklığını öğrendiği için matris işlevi bu videonun yapımında olduğu gibi sıfıra kadar değil.
‫Her zaman yapabilirsin.
‫Belki de bu bir çekme talebi için bir fırsattır.
‫Buraya gidiyoruz.
‫Güzel ve basit.
‫O yüzden pas geçeceğiz.
‫Bu fonksiyon, bizim testimiz.
‫Etiketler ve öngördüğümüz etiketler.
‫Ve sonra C bağlarını kullanarak güzel görünümlü bir çizim, güzel görünümlü bir karışıklık matrisi oluşturacağız.
‫Bunu daha önce de gördük.
‫Isı haritası.
‫Harika.
‫Hadi bakalım.
‫X eşittir plt nokta alt grafikleri incir boyutu eşittir 330 tekrar trigger happy'ye geçiş x eşittir sas ısı haritası.
‫Harika.
‫Ve psişik öğrenme işlevini iç çekiş karışıklık matrisi y test y pred'e aktaracağız.
‫Ve sonra buraya bir açıklama eklemek istiyoruz.
‫Evet, lütfen.
‫Annotate eşittir true.
‫C Bar'ı kullanacağız çünkü Calabar'ı kullanmak istemiyoruz çünkü Calabar'ı
‫gördüm ve karışık matris PLT nokta x etiketinde çok iyi görünmüyor.
‫True etiketi ve ardından plt y etiketine sahip olacağız, tahmin edilen etikete gidecek ve görelim.
‫Bu yüzden comp formatında karışıklık matrisi y, test y spreadlerini çizeceğiz.
‫Oh, hayır.
‫Biz ne yaptık?
‫Yazı tipi boyutu.
‫Bununla birlikte, Alfonso yanılıyor.
‫Bu sekme nedir?
‫Oh, ölçek.
‫İşte oldu.
‫Gidenler için sekme otomatik tamamlama klasiktir ve bize burada bu küçük kesik şeyi veriyor, böylece bunu düzeltebiliriz.
‫Sanırım aşağıdan yukarıya doğru gidince X noktası y lim'i alıyor.
‫Ve sonra balta setine gitmek istiyoruz, William.
‫Biraz güzel bir set yap.
‫William ve alt sınıf olacak, 0. 5 üst -0. 5.
‫Şimdi, elbette, karışıklık matrisiniz iyi görünüyorsa, bu satırlara ihtiyacınız olmayabilir,
‫ancak önemli değil.
‫İşte oldu.
‫Biraz daha iyi görünebiliriz.
‫Böylece modelin kafasının karıştığını görebilirsiniz.
‫Dolayısıyla, yanlış etiketi her iki sınıfta da nispeten aynı şekilde tahmin eder.
‫Yani özünde, burada modelin sıfır tahmin ettiği dört durum var.
‫Tahmin etiketi, bir kişinin kalp hastası olduğunu tahmin etmesi gerekirken kalp hastası olmadığını
‫tahmin etmiştir.
‫Yani bu yanlış bir negatif.
‫Yani bir yerine sıfır tahmin ediyor.
‫Yanlış negatif.
‫Buraya geri döndüğümüzde, yanlış negatif modelin gerçek bir iken sıfırı öngördüğünü hatırlayın.
‫Ve burada da yanlış pozitifler var.
‫Yani bir. k. a, burada bir modelin, bir kişinin aslında kalp hastası olmadığı
‫halde kalp hastası olduğunu öngördüğü üç örnek var.
‫Bunların her ikisinin de kaçınmak istediğimiz şeyler olduğunu görebilirsiniz.
‫Doğru.
‫Özellikle de kalp hastalığı gibi ağır ya da ciddi bir hastalığı düşündüğümüzde, hatta böyle bir hastalığın olmadığını tahmin
‫ettiğimizde.
‫Yani burada, eğer sıfır tahmin edersek.
‫Yani mevcut olduğunda hastalık yok.
‫Tamam, bu kötü oldu.
‫Ancak gerçekte orada olmadığı halde orada olduğunu tahmin etmek de kötüdür.
‫Dolayısıyla, bu tür modeller oluştururken göz önünde bulundurmanız gereken bir şeydir.
‫Yanlış negatif mi daha kötüdür yoksa yanlış pozitif mi?
‫Ve yine, mükemmel bir modelde bunların hiçbiri olmazdı, ancak gerçekte, muhtemelen modelinizle
‫burada bir tür karışıklık yaşayacaksınız.
‫İdeal olarak, bunlar buranın karşısında, çizginin karşısında mükemmel olurdu.
‫Şimdi bir karışıklık matrisi yaptık.
‫Orada var.
‫Bunu patronumuzla paylaşabiliriz.
‫Orada bir ROC eğrisi var.
‫Sırada ne var?
‫Sınıflandırma raporu.
‫Tamam.
‫Ve mümkün olan yerlerde çapraz doğrulama kullanılması harika olurdu.
‫Tamam.
‫Bir sonraki videoda bu konuyu ele alabiliriz.