‫Tekrar hoş geldiniz.
‫Şimdiye kadar bir sınıflandırma modelini değerlendirmenin birkaç farklı yolunu gördük.
‫Ve unutmayın, bir makine öğrenimi modelinin değerlendirilmesi genellikle tahminlerin gerçek etiketlerle karşılaştırılmasıdır.
‫Şimdi sınıflandırma modellerimizi değerlendirmenin daha görsel bir yoluna geçelim ve bu da bir karışıklık
‫matrisidir.
‫Ve eğer bunu daha önce hiç duymadıysanız, endişelenmeyin.
‫Bu videoyu bitirdiğinizde karışıklık matrisleri ile ilgili bolca deneyim kazanmış olacağız.
‫Dolayısıyla, bir sınıflandırma modelini değerlendirmenin bir sonraki en iyi yolu, tam burada bir karışıklık matrisi kullanmaktır.
‫Karışıklık matrisimiz, bir modelin öngördüğü etiketler ile gerçek etiketi karşılaştırmanın hızlı bir yoludur.
‫Yani gerçek etiketlerin tahmin etmesi gerekiyordu.
‫Özünde, bu size modelin nerede karıştığına dair bir fikir verir.
‫Yani bu sadece yazı.
‫Hadi ellerimizi kullanalım ve biraz kod yazmaya başlayalım.
‫Psişik Kredi ile ilgili güzel olan şey, bu değerlendirme ölçütlerinin, formatlarının ve işlevlerinin birçoğunun
‫yerleşik olmasıdır.
‫Öyleyse skaler nokta matrisinden gidelim, karışıklık matrisini içe aktaralım ve sonra WIP Reds'e gideceğiz, eğitilmiş
‫sınıflandırıcımızla bazı tahminler yapacağız, X Testi üzerinde tahmin yapacağız ve sonra
‫Y testi ve y ile bir karışıklık matrisi oluşturacağız.
‫Perez Ancak bunu yapmadan önce, dokümantasyon siklonu karışıklık matrisine geçelim.
‫Sadece yürüttüğümüz işlevi kendimize hatırlatalım.
‫İşte burası.
‫Girdilerin neler olduğuna bir göz atalım.
‫İlk parametre olarak y true ve ardından ikinci parametre olarak y pred değerine sahibiz.
‫Eğer aşağı kaydırırsak, burada bir örneğimiz var.
‫Çıktımızın bu şekilde görünmesini istiyoruz.
‫Yani bizim durumumuzda y test olarak y true var ve sonra bizim durumumuzda S ile
‫y Preds olarak adlandırdığımız y pred var.
‫Evet, öyle yaptık.
‫Bu yüzden bu bağlantıyı buraya kopyalayacağım karışıklık matrisi ve bunu hemen buraya koyacağız,
‫skaler ve karışıklık matrisi için buraya bakın.
‫Pekala, bu kadar konuşma yeter.
‫İş başında görelim.
‫Oh, işte başlıyoruz.
‫Şimdi, şu anda, bu bizim için pek bir şey ifade etmiyor.
‫Daha önce karışıklık matrisleriyle ilgili deneyiminiz olduysa, burada neler olup bittiğini anlayabilirsiniz.
‫Ama eğer yapmadıysanız, ki eminim birçoğunuz yapmamıştır, bu sadece farklı sayılardan oluşan bir dizidir.
‫Devam edelim.
‫Peki buna bazı etiketler eklemeye ne dersiniz?
‫Bunu yapmanın bir yolu, PDK Çapraz Sekme yöntemidir; Panda'nın Çapraz sekmesine bakabiliriz, bu da esasen iki
‫veya daha fazla faktörü karşılaştıracaktır.
‫Şimdi bunu iş başında görelim.
‫Dokümantasyon istiyorsanız, elbette buna başvurabilirsiniz, ancak ben uygulamayı tercih
‫ederim.
‫PD çapraz sekme y'ye gidelim, y spreadlerini test edelim ve sonra buraya gireceğiz.
‫Buna rho adında bir parametre vereceğiz.
‫Yine bunların hepsinden burada bahsediliyor.
‫İndeksimiz var, sütunlarımız var, satır isimlerimiz var, çağrı isimlerimiz var.
‫Bu iki parametrenin ne işe yaradığını muhtemelen tahmin edebilirsiniz.
‫Oraya atlayalım ve ne yaptıklarını görelim.
‫Gerçek etiket.
‫Yani bu gerçek etiketi.
‫Ve sonra tahmin edilen etikete eşit çağrı isimlerimiz var.
‫Dolayısıyla, gerçek değerlerin satırları ve modelimizin tahmin edilen etiketinden tahmin edilen değerlerin sütunları
‫vardır.
‫Oh, işte başlıyoruz.
‫Şimdi, sıfır ya da bir tahmininde bulunduğumuza göre.
‫Yani kalp hastalığı var ya da yok, burada tahmini etiketlerimiz var, sıfır bir tane de gerçek etiketimiz var.
‫Dolayısıyla değerlerin olmasını istediğimiz en ideal nokta diyagonaldir.
‫Nedenmiş o?
‫Bu, sıfır modelimizin tahmin edilen etiketinin sıfır ve sıfır gerçek değerlerinin gerçek etiketi ile
‫aynı hizada olduğu anlamına gelir.
‫Ve biriyle de aynı.
‫Şimdi bu örnekler burada ve karşı köşegende.
‫Yani bu, modellerimizin kafasının karıştığı sol üstten sağ alta örnekler, özünde gerçek etiketin
‫sıfır olduğu yerde bir tahmin ediyor ve bunun tersi de geçerli.
‫Burada, gerçek etiketin bir olduğu yerde sıfır tahmin ediliyor.
‫Şimdi biraz daha görsel olacağız çünkü yine bu benim için, daha görsel olabiliriz.
‫Bunu anlayabileceğinizden emin değilim ama benim için güzel renklere bakmak hoşuma gidiyor.
‫Şimdi açılış konuşmasına geçelim ve kendimize karışıklık matrisi anatomisinin ne olduğunu hatırlatalım.
‫Kendimizi hatırlatmıyoruz, belki kendimizi tanıtmıyoruz ama işte buradayız.
‫Yani köşegen üzerinde doğru değerlere sahibiz.
‫Ve sağ üst değerler ikili bir sınıfta yanlış negatifler olarak kabul edilir.
‫Tatil sorunu.
‫Sadece buraya da dikkat etmenizi istiyorum.
‫Karışıklık matrisimiz şu anda sadece iki sınıfla ilgileniyor, sıfır veya bir.
‫Ancak, bu karışıklık matrisi istediğiniz kadar büyük olabilir.
‫Ancak tahmin edebileceğiniz gibi, 0'dan 100'e hızlı bir şekilde gidersek, görselleştirmeye başlamamız için çok büyük,
‫neredeyse çok büyük olabilir.
‫Hadi Google'ı gerçekten büyük yapalım.
‫Gerçekten büyük bir karışıklık matrisi istiyoruz.
‫Bakalım bu neye benziyor.
‫Tamam.
‫İşte oldu.
‫İşte gerçekten büyük bir karışıklık matrisi böyle görünebilir.
‫Ve aslında, bundan daha büyüğünü de yapabilirsiniz.
‫Şuna bak.
‫Bu 90 ders demek.
‫Yani, evet, bu kafamı karıştırıyor, ama bu.
‫Oh, istediğin bu.
‫İdeal olarak, ideal görünümlü karışıklık matrisi budur.
‫Soldan, sol üstten sağ alta doğru olan diyagonal vurgulanmıştır.
‫Şimdi, kafa karışıklığı matrisimizi renklendirmeye ne dersiniz?
‫Burada neler olup bittiğinin ana hatları var.
‫Doğru.
‫Sol üstten sağ alta.
‫Gerçek pozitifler.
‫Sağ üstteki gerçek negatifler yanlış negatiflerdir.
‫Başka bir deyişle, bu ne anlama geliyor?
‫Model, gerçek bir olduğunda sıfırı yani negatifi tahmin eder ve sol altta yanlış pozitifler vardır ve yanlış
‫pozitif, gerçek sıfır olduğunda modelin bir tahmin etmesidir.
‫Kendi zamanınızda bu konuya daha fazla dalmanıza izin vereceğim.
‫Biraz kod yazmak için geri dönelim.
‫Şimdi, psişik kredide aslında nispeten yeni olan güzel bir yöntem var.
‫Bunu biraz yazalım.
‫Psişik krediyi kullanarak bir karışıklık matrisi oluşturuyorum.
‫Aslında bu videoyu ikinci kez kaydediyorum.
‫Neden?
‫Çünkü bu videoyu ilk kaydettiğim zaman psişik kredide farklı bir yöntem vardı.
‫Ancak güncellendiği için kursu mümkün olduğunca güncel tutmak istiyorum.
‫Yeni versiyonları aldık.
‫Bu Psişik Kredi 1'de. 0.
‫Yani yeni yöntemleri kullanmak için.
‫Yani bunlar yeni.
‫Bu arada, kayıt sırasında, psişik kredi 1. 0 yeni çıktı, psişik öğrenme ile bir karışıklık matrisi
‫oluşturacaksınız, skylon sürüm 1'e ihtiyacınız olacak. 0 artı.
‫Bu yüzden bunu markdown'a dönüştürmek istiyorum.
‫İşte oldu.
‫O zaman yukarı bakalım.
‫Yani ölçeği öğreniyorum, kendi kurulumumu yapıyorum.
‫Size Psychic Learn'ün en son sürümünü nasıl yükleyebileceğinizi göstereceğim.
‫İşte burası da bu web sayfası.
‫Bunu kopyalayacağım.
‫Buraya geliyoruz ve bunu şimdi şuraya koyacağım.
‫Harika.
‫Şimdi import learn'e giderek hangi sky loan sürümünü kullandığımızı kontrol edebiliriz.
‫Sürüm 1'e zaten sahip olabilirsiniz. 0 Eğer psişik krediyi nispeten yakın zamanda yüklediyseniz ve
‫yine çünkü bunu gelecekte izliyor olabilirsiniz yakın zamanda keyfi bir terim ama sadece kontrol
‫edeceğiz.
‫En son sürümü çalıştırıyorum.
‫Ancak, eğer yükseltmek istersek, bunu nasıl yapabiliriz?
‫Peki, hadi terminale geçelim.
‫İşte not defterlerimi çalıştırdığım klasör.
‫Eğer ls'ye gidersem, bu iki Veri Bilimi ve Makine Öğrenimi Araçları bölümünü çalıştırıyorum.
‫Bu defter de oradan geliyor.
‫Çevreyi aktif hale getirdim.
‫Yapacağım şey, bu ortamı devre dışı bırakmak olacak.
‫Temizliği devre dışı bırakmak için.
‫Şimdi bu sadece tüm not defterlerimin bulunduğu bir klasör.
‫İşte eskiden oluşturduğumuz ortam.
‫Ortam oluşturma konusunda bir tazelemeye ihtiyacınız varsa, buna geri dönebilirsiniz.
‫Ama şimdi çevremi aktif hale getireceğim.
‫Buradaki nokta, geçerli klasördeki ortamı etkinleştir anlamına gelir.
‫Yani buradaki mevcut klasör.
‫Şimdi biraz daha açıklamak için tüm bunları sileceğim.
‫Orada bir ortam klasörüm olduğunu görüyorum.
‫Yani bu sadece conda activate dot m bu klasör, bu ortam klasörü anlamına gelir.
‫Bunu çalıştırırsak, o zaman temizleriz ve şimdi not defterlerimizi çalıştırdığımız bu ortamda sidekick learn'i yükseltmek
‫istiyorsak, sizinki benim buradaki yolumdan biraz farklı olabilir, ancak sadece buraya
‫gidelim.
‫Kullandığınız Pip kurulumu, yükseltme sidekick learn anlamına gelir.
‫Bu yüzden terminale geri döneceğiz.
‫Pip kurulumunu çalıştıracağız.
‫Şu anda öğrenemiyorum çünkü en son sürümü kullanıyorum.
‫Diyor ki, evet, işte gidiyoruz.
‫Gereksinim zaten güncel.
‫Daha önce bunu yaptığımda sidekick lion sürüm 0'ı çalıştırıyordum. 24 puanlık bir şey, ama sonra 1 puan
‫yükledim. 0 bu yeni malzemeyi yapmak için.
‫Yani çoktan aldım.
‫Şimdi, eğer 1'i çalıştırmıyorsanız. 0, bu adımlardan geçmeniz gerekecek.
‫Eğer zaten 1 tane varsa. 0 ve bunu not defterinizde bulduysanız, o zaman bu kod sizin için çalışmalıdır.
‫Eğer 1'i yeni yüklediyseniz. 0 ise, dizüstü bilgisayarınızın çekirdeğini yeniden başlatmanız gerekebilir.
‫Bunu yapmayacağım, ancak yeniden başlat'a tıklayın ve ardından Tümünü çalıştır'a tıklayın ve tüm bu hücre halkalarını yeniden çalıştırmak isteyeceksiniz.
‫İthal medyum.
‫En son sürümü öğrenin ve sadece 1'e sahip olduğunuzdan emin olun. 0 kodunu çalıştırmadan önce buraya tıklayın.
‫Şimdi skaler ve karışıklık matrisine bakalım.
‫Ve 1'de tanıtılan yeni yöntemleri veya yeni sınıfları ve yöntemleri bulacağımız yer burasıdır.
‫0.
‫Tahmin ediciden gelen karışıklık matrisi görüntüsü.
‫Harika.
‫İşte ben de bundan bahsediyorum.
‫Bu benim için daha renkli.
‫Ve görüyoruz ki.
‫Yeşil veya sarı veya karo, daha fazla değer olduğu ve karonun daha koyu olduğu anlamına gelir.
‫İsterseniz bu varsayılan renkleri değiştirebilirsiniz.
‫Bu arada, dokümantasyonu incelerseniz ve karo ne kadar koyu olursa, orada o kadar az değer olduğu anlamına
‫gelir.
‫Öyleyse bunu tekrarlayalım.
‫Ancak verilerimiz için ve bunun iki versiyonu var, SRC çizgi matris karışıklığımız var, matris iki versiyon
‫gösteriyor, biri tahmin ediciden ve diğeri tahminlerden.
‫Bunların her ikisine de bir göz atacağız.
‫Bu nedenle, ilerlemek istiyorsanız, bu belgelere gelebilir, bu yöntemlerin her birine tıklayabilir ve kendiniz
‫deneyebilirsiniz.
‫Ama bir de iş başında görelim.
‫Skyline Dot matrix import confusion matrix ekranına geçiyoruz.
‫Tamam.
‫Yani genel sınıf bu.
‫Ve sonra bu sınıf karışıklık matrisi ekran noktasını tahmin ediciden kullanacağız.
‫Şimdi buraya ne gireceğini tahmin edebilirsiniz.
‫Eğitimli bir tahminciye veya uygun bir tahminciye ihtiyacımız var.
‫Bizim durumumuzda, mevcut tahmincimiz CLF'dir.
‫Buraya CLF, rastgele orman sınıflandırıcı yazıyoruz ve sonra X'i alıyor, bizim durumumuzda
‫X ve sonra y, x ve Y.
‫Bakalım buradan ne çıkacak.
‫İşte oldu.
‫Güzel bir olay örgüsü var.
‫Şimdi, burada elimizde olan y testi, y spreadleri ile X ve Y arasında ne fark var?
‫Öncelikle, çok daha fazla değerimiz var.
‫Bunun nedeni, tüm X verilerini ve tüm Y verilerini aktarıyor olmamızdır.
‫Buradaki doküman dizisine bakarsak, shift sekmesi, tahminimiz X, Y'den neye ihtiyacımız var, o zaman burada
‫etiket örneği gibi birkaç farklı seçeneğimiz var.
‫Bekle, normalleştir.
‫Bunların ne işe yaradığını görmek için belgeleri okumanıza izin vereceğim.
‫Esasen, olay örgüsünün ortaya çıktığında nasıl görüneceğini özelleştiriyor.
‫Ve böylece tahmin edici, son tahminin bir sınıflandırıcı olduğu boru hattı üzerinde bir örnek, uygun bir sınıflandırıcı
‫veya uygun bir ölçek sınıfı tahminidir.
‫Tahminimiz nedir?
‫Bu bir rastgele orman sınıflandırıcısı.
‫Şimdi karışıklık matrisi gösteriminin diğer versiyonuna, tahminlerle ilişkilendirilen
‫diğer yönteme bakalım.
‫Şimdi buradaki fark, daha önce çapraz sekmemizde olduğu gibi tahminlerden y doğru ve y tahmini almasıdır.
‫Yani bir tahminci yok.
‫Yani bu, tahminlerinizin hazır olması gerektiği anlamına geliyor.
‫Tahmin edicinin diğer versiyonunda ise hazır tahminler olmadan bir karışıklık matrisi oluşturabilirsiniz.
‫Böylece, diyelim ki tahminlerden karışıklık matrisi ekran noktası için tahminler yapar ve burada doküman
‫dizisini görelim, y true ve y spread var, bu yüzden y true test etiketlerimize eşittir
‫ve y pred eşittir tahminlerimizi y spread olarak adlandırdık.
‫Bakalım bu karışıklık matrisi neye benziyor.
‫Harika.
‫Çok daha iyi.
‫Daha renkli.
‫Yine bu renklerin en büyük hayranı olmayabilirsiniz, değiştirmek isterseniz belgelere bakın.
‫Bunları özelleştirebileceğiniz bir sürü farklı yol var.
‫Bu, burada sahip olduğumuzdan daha görsel bir yön.
‫Bunların üçü de aynı verileri gösteriyor.
‫Bu burada, bu burada ve bu da burada.
‫Ancak bunlar, neler olup bittiğini anlamak için genellikle çok yararlı olan artan görselleştirme seviyeleridir.
‫Karışıklık matrisleri için bu kadar.
‫Bunlar, eğitilmiş sınıflandırıcılarınızın nasıl gittiğini görmenin çok, çok, çok görsel yollarıdır.
‫Anatomiyi beğendiyseniz, slaytı burada bulabilirsiniz.
‫Aksi takdirde, bir sonraki videoda görüşürüz.
‫Modellerimizi değerlendirmeye devam edelim.