‫Tekrar hoş geldiniz.
‫Şimdi siklon modellerini değerlendirmenin üçüncü yoluna bir göz atalım.
‫Dokümantasyona geri dönecek olursak, bu metrik fonksiyonlar aracılığıyla, özellikle ölçek ve metriklerde
‫gerçekleşir.
‫Ve doğruluk puanını gördüğümüz sınıflandırma metriklerimiz var.
‫Hassasiyetimiz var mı?
‫Aslında bunlardan birkaçını daha önce görmüştük, bu bir sınıflandırma raporu karışıklık matrisidir.
‫İşte başlıyoruz, hassasiyet puanı, geri çağırma puanı.
‫Aynı durum regresyon ölçümleri için de geçerlidir.
‫Burada birkaç tane var.
‫Ortalama mutlak hata, ortalama karesel hata.
‫Son videoda bir meydan okuma yayınladım.
‫R2 skoru var.
‫Merhaba.
‫Şimdiye kadar üzerinde çalıştığımız problemler üzerinde bunlardan birkaçını denemek vardı.
‫Umarım bunu denemişsinizdir çünkü kendi başınıza pratik yapmaya başlamanın en iyi yolu, belgeleri keşfetmek,
‫biraz kod yazmak, bazı hatalar yapmak ve daha sonra bunları nasıl düzelteceğinizi görmektir.
‫Şimdi psişik kredi fonksiyonları olarak farklı değerlendirme metriklerini kullanarak küçük bir başlık
‫yazalım ve buraya gidelim.
‫Siklon makine öğrenimi modellerini değerlendirmenin üçüncü yolu, tahmini terimi kullandıkları için tahmini kesmektir.
‫Terim modeli olarak cyclone nokta vuruş modülünü kullanmayı seviyorum ve ardından belgeleri buraya bağlayıp markdown'a
‫dönüştüreceğiz.
‫Çok güzel.
‫Biraz kod yazmaya başlayalım.
‫Sınıflandırma problemimizle başlayacağız.
‫Siklon matrisinden doğruluk skorunu içe aktaracağız.
‫Doğruluk, kesinlik ve geri çağırma puanlarını alacağız ve belki de bu yeterli olacaktır.
‫Bir tane de F yapsak nasıl olur?
‫Neden olmasın?
‫Orada biraz bütünlük sağlayacağız ve sonra bir model elde edeceğiz.
‫Cyclone Ensemble'dan rastgele orman sınıflandırıcısını içe aktarmak istiyoruz ve sonra başka ne almalıyız?
‫Biz de ayrılmak için eğitim alabiliriz.
‫Neden bunu yapmıyoruz?
‫SRC Learn model seçiminden.
‫Tüm iş akışını tekrar gözden geçireceğiz.
‫Seçim, içe aktarma, eğitme, test etme, bölme.
‫Bu yüzden bunu bir denemenizi istiyorum.
‫X ve Y'yi oluşturun.
‫Ardından verileri bölmenizi, ardından Y modelini oluşturmanızı, modeli oturtmanızı ve ardından değerlendirme işlevlerini kullanarak modeli değerlendirmenizi
‫istiyorum.
‫Yani buraya yeni aktardıklarımız, bu yüzden bazı tahminleriniz olacak ve ne olduklarını anlamak istiyorsanız
‫bunların dokümanlarına göz atacaksınız.
‫Bunlar, doğruluk, kesinlik, geri çağırma ve F bir'i ele aldığımız ana sınıflandırma metrikleridir.
‫Elbette burada sınıflandırma için birkaç tane daha var.
‫Daha fazlasına bakmak isterseniz, lütfen belgelere göz atın.
‫Ben sadece en sık göreceklerinizden bazılarını paylaşıyorum.
‫Regresyondan da aynı.
‫Burada ele aldıklarımızdan çok daha fazlası var.
‫Daha fazlasını okumak isterseniz, dokümantasyona buradan ulaşabilirsiniz.
‫Şimdi.
‫Bunu doldurmak için bir deneme yapmanıza izin vereceğim.
‫Bu arada, ölçek metriklerinden R'yi belirleme katsayısı olan skora aktararak regresyon için de bir
‫tane yapmaya hazırlansak nasıl olur?
‫Ana mutlak hata.
‫Modelinizin tahminlerinin gerçek değerlerden ne kadar farklı olduğunun ana değeri ortalama karesel hata modelinizin
‫tahminlerinin karesel değeri veya modelinizin tahminlerinin gerçek etiketlere kıyasla hatası.
‫Sonra da Skylon'u alacağız.
‫Topluluk modülünü alacağız ve sadık rastgele orman regresyonumuzu içe aktaracağız.
‫Ayrıca yukarıda elde ettiğimiz şeyin aynısını elde edeceğiz.
‫Bunu her zaman yazmanıza gerek yok çünkü zaten içe aktarılmış durumda.
‫Ancak bu kod parçalarının her birinin tek başına olması için bunu buraya kopyalayacağım.
‫Tam olarak aynı düzende olacak.
‫Psişik ödünç kütüphanesinin güzelliği, üzerinde çalıştığınız soruna bağlı olarak iş akışının
‫çoğunun benzer olmasıdır.
‫Bu yüzden videoyu burada duraklatabilir ve her ikisini de doldurmaya çalışabilirsiniz.
‫Olmazsa, 3 saniye içinde devam edeceğiz, 3'e 1.
‫Umarım denemişsinizdir ama hadi şimdi bunları birlikte yapalım.
‫Hey, X ve Y'yi oluşturmamız gerekiyor.
‫Başlayabiliriz.
‫Aslında burada atladığım bir şey var.
‫Rastgele tohum ve x eşittir kalp hastalığı diyeceğiz.
‫Bunu şimdi birkaç kez yaptık, ancak hedefi ilk eksene bırakacağız ve ardından Y'yi hedef değer
‫kalp hastalığı hedef bölünmüş verilerine eşit olarak ayarlayacağız.
‫Yani bunu ezbere yapabilirsek x eğitim x test önce gelir.
‫Bu sırayı öğrenmek biraz zamanımı aldı, ancak önce x değerlerini, sonra y değerlerini ve tren testini hatırlayın.
‫Tren testi ayrımı.
‫X ve Y'yi ayıracağız.
‫Unutmayın, bu daha önce gördüğümüz çapraz doğrulamadan farklı olarak yalnızca bir bölme için
‫bölünecektir.
‫Uç bölmelere veya K bölmelere ayırmak sıklıkla kullanılan bir terimdir.
‫K üç olabilir K iki olabilir K on olabilir K beş olabilir.
‫Rastgele orman sınıflandırıcısını geçme.
‫Varsayılan parametrelerde bırakacağız.
‫Modeli eğitim verilerine uyduracağız.
‫Öz, x treni y treni özelliklerine ve etiketlerine uymuyor.
‫Şimdi değerlendirme fonksiyonlarını kullanarak modeli değerlendireceğiz.
‫Bununla birlikte, gözden kaçırdığım bir başka şey de, belki de bu sınıflandırma matrisini test setinde
‫kasıtlı olarak yapmış olabilirim, bu işlevlerin özellikle nasıl kullanılacağıdır.
‫Şimdi, gördüğümüz doğruluk, onları daha önce görmüş olabiliriz, ama sorun değil.
‫Eğer yapmadıysak, onları kapsayacağız.
‫Birazdan göreceklerimize benzer pek çok adım attık.
‫Elimizde Y test değerleri var.
‫Ancak doğruluk skoru belgelerine bakarsak, ne elde ederiz?
‫Doğruluk, sınıflandırma puanı.
‫Bizim durumumuzda test etiketleri olan Y gerçek değerlerini, modelimizin tahminleri olan Y tahmin değerleriyle
‫karşılaştırmamız gerekir.
‫Yani buraya self predict X testini koyabiliriz, ancak self predict'i her zaman yeniden yazmak yerine.
‫Şimdi oraya gidersek ve bu bize 100 çarpı bir değer verirse ve bunu iki ondalık basamağa göre biçimlendirirsek, buraya
‫küçük bir yüzde işareti koyarız ve bunun ne çıktığını görürüz.
‫X Evet tanımlamıyor.
‫Buna x testi olarak ihtiyacımız var mı?
‫İşte oldu.
‫Tamam.
‫Ancak, neden sadece bazı tahminler yapıp bunları tekrar kullanmıyoruz?
‫Bu yüzden kendi istediğimiz tahminleri yapalım.
‫S x testini tahmin edin ve Y farkları buna eşit olacaktır.
‫Yani bu satırı kopyalarsak, y spreadleri için aynı değeri elde etmemiz gerekir, çünkü sadece bir değişkene koymamız
‫dışında aynı şeydir.
‫Evet, işte oldu.
‫Yani bu biraz daha iyi.
‫Ve bundan kurtulacağız, bunu sileceğiz.
‫Bunu alıp kopyalamaya ne dersiniz, çünkü hassas geri çağırma f bir için bir tane istiyoruz.
‫Buradaki ölçütler hangileri?
‫Precision recall F bir kez daha, eğer istersek birkaç tane daha kullanabiliriz çünkü burada bir sürü
‫sınıflandırma metriğimiz var.
‫Ancak bunlar en yaygın ve en önemli olanlardan bazılarıdır.
‫Bunu hassasiyet olarak değiştireceğiz.
‫Bunu geri çağırma olarak değiştireceğiz ve bunu da F bir olarak değiştireceğiz.
‫Yani bir kez daha aynı şeyi yapabiliriz.
‫Hassasiyet, hassasiyet okulu, geri çağırma puanı ve f bir puanı.
‫Ve sonra bunları yüzde olarak biçimlendirmemize de gerek kalmayacak.
‫Bu iş görür.
‫Doğruluk, genellikle yüzde olarak bulacağınız bir orandır.
‫Oh, burada ne kaçırdık?
‫Doküman dizesinin veya biçimlendirilmiş dizenin sonunu kaçırdık.
‫Bunu anladın mı?
‫İşte oldu.
‫Çok güzel.
‫Onları birkaç ondalık noktaya indirebiliriz, ama sorun değil.
‫İşte böyle.
‫Şimdi değerleme ölçütlerini ikinci satır işlevleri olarak kullanmanın üçüncü yolunu gördük.
‫Şimdi bu sınıflandırma için.
‫Videoyu duraklatacağım ya da sizin videoyu tekrar duraklatmanıza izin vereceğim ve sınıflandırma için yaptıklarımızı tekrarlayıp
‫tekrarlayamayacağınızı göreceksiniz.
‫Burada fazladan bir adım daha eklemeniz gerekecek, modellerle bazı tahminler yapmak, çünkü bir
‫modeli değerlendirmek nedir?
‫Bir modeli değerlendirmek, modelimizin tahminlerini temel gerçek verileriyle karşılaştırmak çok önemlidir.
‫Bir modeli eğitmek kadar önemli olan bir diğer şey de o modeli değerlendirmektir.
‫O yüzden bir dene.
‫Aksi takdirde, devam edeceğiz ve 3'e 1 olarak birlikte yazacağız.
‫Tekrar hoş geldiniz.
‫Umarım buradaki bazı değerlendirme fonksiyonlarını kullanarak bir regresyon modelini değerlendirmeyi denemişsinizdir.
‫Ve tüm bunları metrik modülünden, regresyon metrik modülünden, cyclone dokümantasyonundan
‫aldık.
‫Daniel'in neden belgelere bu kadar çok atıfta bulunduğunu merak ediyorsanız?
‫Çünkü bunu çok yapacaksınız ve ben de aslında bunu çok yapıyorum.
‫Bu yüzden size bir makine öğrenimi mühendisi veya veri bilimcisi olarak her gün kullandığım bazı alışkanlıkları
‫aktarmaya çalışıyorum.
‫Burada X ve Y'yi oluşturacağız ve belgelere başvurmak geliştireceğiniz en önemli alışkanlıklardan
‫biridir.
‫Elbette bir şeyleri arayabilirsiniz, ancak sonunda dokümanları okumaya veya aramaya, dokümanları
‫okumaya, aramaya, dokümanları okumaya, kod yazmaya, yanlış yapmaya, tekrar tekrar
‫doğru yapmaya geri döneceksiniz.
‫Deney, deney, deney.
‫Böylece bölünmüş verileri oluşturacağız.
‫Bunu daha önce de gördük.
‫Modeli bir ne olarak örnekleyeceğiz?
‫Çünkü bir regresyon problemi üzerinde çalışıyoruz.
‫Bunu rastgele orman saldırganı olarak ayarlayacağız.
‫Varsayılan parametrelerle bırakacağız, modeli eğitim verisi modeline uyduracağız
‫X train, y train'e uymuyor.
‫Ve şimdi tahminlerde bulunabiliriz.
‫Buraya eklememiz gereken ekstra adım buydu, yani X testinde model tahmini.
‫Bunu Y spread değişkeni olarak ayarlayacağız, yeniden adlandırabiliriz.
‫Yani buradakiyle aynı değil, ama sorun değil.
‫Ve şimdi test seti üzerinde regresyon matrisini kullanarak değerlendireceğiz, böylece F yazdırabiliriz, önce R iki puanını
‫alalım.
‫Bu yüzden R'nin gol atmasını istiyoruz.
‫Bunu y test y pred ile puanlamak için R ile biçimlendireceğiz ve sonra istiyoruz ki, oh orada dizenin
‫sonu yok.
‫Baskı istiyoruz.
‫Başka neyimiz vardı ki?
‫Mutlak hata.
‫Yani annem kaba olabilir.
‫Kesinlikle.
‫Var mı?
‫Evet, otomatik tamamlama y tahminimiz var.
‫Ve son olarak da ne kadar dağınık olduğumuzu yazdıracağız.
‫Dağınıklık, ortalama kareli dönemdir.
‫Neden önceden test edelim ve sonra bunu orada bitirelim.
‫Olamaz.
‫Neyi yanlış yaptık?
‫Sadece matris ortalama karesel hatayı öğrendim.
‫Bir yazım hatası var.
‫Bunu daha önce yakaladın mı?
‫Ortalama karesel hata.
‫Onu biz yönetiyoruz.
‫Sığacak.
‫Konut veri setimizde 20.000 satır olduğu için bir model sınıflandırma modelinden biraz daha uzun sürebilir.
‫Neyi yanlış anlıyoruz?
‫Y pred tanımlanmamıştır.
‫Bize Preds lazım.
‫İşte oldu.
‫O yazım hatasını tekrar yakalamış olabilir.
‫Modeli orada yeniden eğitin.
‫Yeniden değerlendirin.
‫Peki yine, çapraz val değerlendirmemiz ile regresyon metriklerimiz veya sınıflandırma metriklerimiz arasındaki
‫fark nedir?
‫Bu metrikler bir eğitim testi bölünmesinde bulunurken, buradaki metrikler çapraz doğrulama kullanılarak birden fazla eğitim testi
‫bölünmesinde bulunur.
‫Bu metrikleri bulmak daha uzun sürer çünkü birden fazla modeli eğitmeniz ve değerlendirmeniz gerekir.
‫Bununla birlikte, genellikle modelinizin Jupyter not defterinin dışında görünmeyen veriler üzerinde nasıl performans
‫göstereceğine dair daha iyi bir göstergedir, daha sonra sadece tek bir bölünme üzerinde.
‫Bunu aklınızda bulundurun.
‫Çok güzel.
‫Test setinde bazı regresyon metriklerimiz var, bu yüzden biraz zamanımızı aldı, ancak bir modeli değerlendirmek
‫çok önemli olduğu için bu bölüme çok zaman harcamak istedim.
‫Bu konuda daha fazla bilgi edinmek istiyorsanız, lütfen belgelere bakın.
‫Tahmini puan yöntemini ele aldık, puanlama parametresini ele aldık ve metrik fonksiyonlara baktık.
‫Burada çok daha fazlası var, ancak bunların üçünün de özünü gördünüz.
‫Şimdi neyi kapsadığımızı bulalım.
‫Listemize bir göz atacağız.
‫Şimdiye kadar neler yaşadık?
‫Sıfır ve uçtan uca iş akışı.
‫Verileri hazırlayın.
‫Problemlerimiz için doğru tahmin edici eğik çizgi algoritmasını seçin.
‫Modeli oturtun.
‫Bir modeli değerlendirmek ve beş numara, bir modeli geliştirmek.
‫Bu çok ama çok heyecan verici.
‫Psikolojik Öğrenme bölümünde şu ana kadar çok şey ele aldık, ancak hala biraz daha yolumuz
‫var.
‫Bir sonraki bölümde görüşürüz.
‫Bu ölçütlere sahip olup olmadığımızı anlayalım.
‫Onları nasıl geliştirebilir, daha iyi hale getirebiliriz?
‫Daha önceki videolarda bu konuya değinmiştik, ancak şimdi gerçekten bu konuya dalalım.
‫Bir sonraki bölümde görüşürüz.