‫Son videoda, tüm sayısal değerleri doldurduktan, tüm kategorik değerleri doldurduktan ve tüm verilerimizi
‫sayılara dönüştürdükten sonra verilere yerleştirdiğimiz makine öğrenimi modelimizi puanlamayı bıraktık.
‫Model çalıştı.
‫Verilerimizde eksik değer yoktu ve hepsi sayısaldı.
‫Ancak bu metrik neden güvenilir değil sorusuyla devam etmiştik.
‫Bunu buraya koyalım, çünkü bu vurgulanmaya değer, çünkü unutmayın, her zaman bir makine öğrenimi modeline uyum sağlamanın veya
‫bir makine öğrenimi modelini değerlendirmenin, bir modele uyum sağlamak kadar önemli olduğunu unutmayın.
‫Şu anda geldiğimiz nokta da bu çünkü bir makine öğrenimi modeli kurduk.
‫Sonuçlarımızın tutarlı olduğundan emin olmalıyız, çünkü modelimizin yapamayacağı şeyler
‫vaat etmek istemiyoruz.
‫Peki yukarıdaki metrik neden geçerli değil?
‫Su tutmak, metrik neden güvenilir değil sorusunun bir ifadesidir.
‫Bu sadece bir konuşma şekli.
‫Peki neden su tutmuyor?
‫Neden güvenilir değil?
‫Bunu düşünmek zorunda kaldın mı?
‫Açılış konuşmamıza geri dönersek size hafızanızı tazeleyebilecek bir diyagram göstereceğim.
‫Makine öğrenimindeki en önemli kavramı en başından hatırlıyorsunuz.
‫Tamam, üç set.
‫Yani yaptığımız şey, bir veri seti üzerinde bir makine öğrenimi modelini eğitmek, ama sonra ne
‫yaptık?
‫Kanuna geri dönüyoruz.
‫Modeli uydurduk.
‫Bazı veriler üzerindeki veri setinde, ancak daha sonra tam olarak aynı veriler üzerinde değerlendirdik.
‫Uh.
‫O halde buraya geri dönecek olursak, esasen yaptığımız şey, bunu bir üniversite dersi olarak
‫düşünürsek, ders materyallerini öğrenmiş olmamızdır.
‫Ancak yaptığımız şey, modelimizi bir final sınavına eşdeğer bir test veri seti üzerinde test
‫etmek yerine, makine öğrenimi modelimizi öğrendiği materyallerin aynısı üzerinde değerlendirmek oldu.
‫Bir sınıftaydınız ve size okumanız için bir kitap verildi ve sonra aynı anda, sanki
‫doğrudan okuduğunuz kitaptan sorularla test edileceksiniz.
‫Hmm.
‫Tamam.
‫Ancak modelimizin genelleme yeteneğinin ve bir makine öğrenimi modelinin daha önce görmediği veriler üzerinde
‫iyi performans gösterme yeteneğini kazanmasının peşindeyiz.
‫Kaggle'a geri dönersek.
‫2011'in sonuna kadar olan verileri içeren bir eğitim veri seti vardır.
‫Bir doğrulama seti ve bir de test seti vardır.
‫Biz de bunun peşindeyiz.
‫Modelimizi eğittiğimiz veriler üzerinde değil, test verileri üzerinde değerlendirmemiz
‫gerekir.
‫Ama bunu yapmadan önce.
‫En üstte hatırlarsanız, ilk veri çerçevemizi içe aktardığımız yere geri dönelim.
‫Bunu tekrar gözden geçireceğimizi söylemiştim ve şimdi zamanı geldi.
‫Buraya gidiyoruz.
‫İthal ettik.
‫Tren ve geçerli csv.
‫Hmm.
‫Bunu neden yaptığımızı merak ediyor musun?
‫Bu videoda her şey açıklığa kavuşacak.
‫Yani geçersiz csv trenimiz var, geçerli bir csv'miz var ve try and see as v'miz var, neden bunları ayrı ayrı
‫içe aktarmıyoruz?
‫Üzerinde çalıştığımız zaman serisi veri seti ile bir başkasının sizin için oluşturması yerine kendi doğrulama
‫setinizi oluşturmanın nasıl bir şey olduğunu göstermek istedim.
‫Yani burası bunun için mükemmel bir oyun alanı.
‫Yani burada train CSV'nin eğitim seti olduğunu okursak.
‫Yani temelde üzerinde çalıştığımız şey ve geçerli CSV bir doğrulama setidir.
‫Buradaki kilit nokta, bir zaman serisi olduğu için, eğitim veri setinde 2011'in sonuna kadar olan veriler
‫bulunurken, doğrulama setinde 1 Ocak 2012 ile 30 Nisan 2012 arasındaki veriler bulunmaktadır.
‫Modelimizi daha iyi değerlendirmek için yapacağımız şey, verilerimizi eğitim ve doğrulama kümelerine ayırmaktır.
‫Hadi yapalım şunu.
‫Burada verileri eğitim doğrulama kümelerine ayıralım çünkü peşinde olduğumuz şey bu.
‫Şimdi bir modelimiz var.
‫Artık modeller oluşturabiliyoruz, ancak sadece daha iyi modeller oluşturmak yerine, değerlendirdiğimiz
‫şeyin mantıklı olduğundan emin olmamız gerekiyor.
‫Her zaman yaptığımız gibi verilerimizi tekrar kontrol edelim.
‫Belki de yılını kullanabiliriz, adı neydi, diyelim.
‫Oh, evet.
‫Yani söylemek zorunda mısın?
‫Oh, evet.
‫İşte oldu.
‫Tamam.
‫Belki de veri çerçevemiz düzgün olduğu içindir.
‫Evet.
‫Bu, veri çerçevemizi içe aktardığımızda bize yardımcı olacaktır.
‫Satış tarihleri sırasına göre sipariş verdik.
‫Şimdi kendi doğrulama setimizi oluşturmak için bunu okuyarak verilerimizi bölmek istiyoruz.
‫Yani 2011'e kadar olan tüm satırlar, yani eğitim setinde yer alabilecek satış yılı 2011'dir.
‫Ve sonra 2012'deki tüm satırlar doğrulama kümesi olabilir.
‫Şimdilik test seti hakkında endişelenmeyeceğiz çünkü bu ayrı bir veri setinde.
‫Yalnızca tren ve geçerli CSV üzerinde çalışmamızın nedeni, not defterinin başında tren ve
‫geçerli CSV'yi içe aktarmış olmamızdır.
‫Bu dosya burada.
‫Bu yüzden kendi doğrulama veri setimizi oluşturmamız gerekiyor.
‫Hadi yapalım şunu.
‫Geliştirme şablonlarımız var, satış yılı değer sayılarını kontrol edin.
‫İşte, 2012.
‫Yani 2012'de 11.573 örnek var.
‫Tamam.
‫Dolayısıyla, verilerimizi eğitim ve doğrulama olarak ikiye ayırmak, "Tamam, hadi bunu iç gözlemleyelim" demek kadar kolay olmalıdır.
‫Yıl sütunumuz ve 2012'ye eşit olan her sütun satış yılı ve örneği için bir doğrulama seti olacak
‫ve 2012'ye eşit olmayan her satır eğitim setinde olacaktır.
‫O yüzden bu konuda konuşmayı bırakalım Daniel ve kodu görelim.
‫Bu yüzden verileri eğitim ve doğrulama olarak ayırın.
‫Bu, kendi zaman serisi verilerinizle yapmanız gerekebilecek bir şey, değil mi?
‫Çünkü her zaman Kaggle formatında verilmeyecek, değil mi?
‫Bir müşteriyle çalışırken veya bir proje üzerinde çalışırken, verilerinizin her zaman otomatik olarak eğitim,
‫geçerlilik ve test aşamalarında olması gerekmez.
‫Bunlar sizin kendiniz için yaratmanız gereken şeyler.
‫Bu satış sütununa bakarak veya zaman sütununa bakarak, tarih sütununa bakarak ve kendi eğitim
‫ve doğrulama setinizi nasıl oluşturabileceğinizi düşünerek.
‫İşte tam da bu yüzden başlangıçta bunları tek bir set olarak içe aktardık, böylece kendi eğitim ve doğrulama setlerimizi oluşturma
‫pratiği yapabilecektik.
‫Set kelimesini çok fazla kullanıyormuşum gibi hissediyorum ama bu önemli çünkü setimize geri dönüyoruz.
‫Açılış konuşması.
‫Bu, makine öğrenimindeki en önemli kavramdır çünkü modelimizi ne üzerinde eğitirsek eğitelim, onu başka bir
‫şey üzerinde değerlendirdiğimizden emin olmak isteriz.
‫Öyleyse doğrulama kümesine geldiğinizde, satış yılı sütununun 2012'ye eşit olduğu DF temp'deki her satır mı?
‫Evet, bu doğru.
‫Ve eğitim setinin günü, aynı yıl sütununun 2012'ye eşit olmadığı DF temp'deki her satırdır.
‫Harika.
‫Ve sonra gidebiliriz, Len.
‫DF Val ve Len df train.
‫Yani tüm bunlar bize bu iki veri çerçevesinin uzunluğunu söyleyecek.
‫Çok güzel.
‫Şimdi elimizde 11.573 satır içeren bir doğrulama kümesi ve 401.125 satır veya örnek içeren bir eğitim veri kümesi ve bunların
‫tarihe göre bölünmüş hali var.
‫Çok güzel.
‫Burada kutuları alıyoruz.
‫Şimdi yapabileceğimiz şey, verileri X ve Y olarak ayırmaktır.
‫Bunu daha önce de gördük.
‫Böylece elimizde bir X eğitim seti ve bir Y eğitim seti, bir X geçerli seti ve bir Y geçerli seti, yani verilerimiz
‫ve etiketlerimiz olur.
‫Yani X treni, Y treni eşittir DF olacak.
‫Şimdi burada eğitim setiyle çalışıyoruz.
‫İlk a eksenindeki satış fiyatı sütununu düşürmek istiyoruz. k. sütunu bırakacağız ve bunu DF trenine
‫ayarlayacağız.
‫Y treni satış fiyatına eşit olacaktır.
‫Burada virgülle nasıl yaptığıma bakın.
‫Bunu tek bir satırda yaparak biraz kurnazlık yapıyorum.
‫Çok güzel.
‫Ve buraya gidiyoruz.
‫Geçerli y geçerli.
‫Df çıktısının satış fiyatını yine aynı şekilde düşürdüğünden emin değilim, ancak bu sefer doğrulama seti
‫df val dot ile bu aslında satış fiyatı olacak.
‫İşte oldu.
‫Şimdi de bir yerlerde küçük bir hata yapmadığımızdan emin olmak için verilerimizi biraz inceleyeceğiz ve hepinizin birbiriyle
‫karşılaştırılabilir şekiller olması gerektiğini göreceğiz.
‫Neden?
‫Geçerli şekil.
‫Yani burada oluşturduğumuz bu veri setlerini alıyoruz ve bunların şekillerini buluyoruz.
‫Çok güzel.
‫Yani eğitim setimiz 401.000 satır veya 102 özellik, 102 sütun ile yaklaşık bu kadardır.
‫Y eğitimimiz 401.000 satırdır ve ardından doğrulama yaklaşık 11 buçuk bindir ve X için aynı miktarda sütun vardır
‫ve Y için sütun yoktur çünkü y yalnızca bir sütundur.
‫Bir göz atalım.
‫Şimdi, bakın, yaptığımız şey bu.
‫Tüm verilerimizden emin olun.
‫Tamam, bunların hepsi satış fiyatı.
‫Çok güzel.
‫Woo.
‫Tamam, verilerimizi eğitim ve doğrulama kümelerine ayırdık.
‫En önemli üç şeyden ya da en önemli setlerden ikisini hallettik.
‫Test setine daha sonra göz atacağız.
‫Ancak oluşturduğumuz şey bu, bir eğitim seti ve bir doğrulama seti.
‫Biraz daha model yapmanın zamanı geldi.
‫Bu videoyu burada bitirebiliriz ve makine öğrenimi modelimizi değerlendirmenin bir yolunu bulmalıyız.
‫Muhtemelen bir sonraki videoda buna bir göz atacağız.