‫Pekala.
‫Şimdi defterimizi biraz düzenledik ve hangi adımları attığımızı biliyoruz, hangi sorunu çözmeye çalıştığımızı
‫biliyoruz, verilerimizin nereden geldiğini biliyoruz.
‫Değerleme ölçütümüzü ve özelliklerimizi biliyoruz.
‫Verileri içe aktaralım ve başlayalım.
‫Yani benim durumumda, Veri adlı bir klasöre aktardık.
‫Aynı şekilde bir klasör oluşturmuş olabilirsiniz.
‫Yani dosya yolunu yazdığımda, sizin dosya yolunuz benimkinden farklı olabilir, ancak benimki veri olarak adlandırılacaktır.
‫Öyleyse bunu yapalım ve başlangıç olarak eğitim ve doğrulama setlerini içe aktaracağız, eğer bunları neden aynı anda içe aktardığımızı
‫merak ediyorsanız, bu gelecek bir videoda netleşecek, bu yüzden şimdilik bana güvenmeniz gerekecek, her ikisini
‫de tek bir sette içe aktarıyoruz ve Blue Book'a gidersek, muhtemelen sekme otomatik
‫tamamlamayı kullanabiliriz.
‫Kesinlikle.
‫İşte oldu.
‫Bu yüzden csv'yi eğitmek ve doğrulamak istiyoruz.
‫Harika.
‫Shift ve enter'a basarız.
‫Şimdi, bu biraz zaman alabilir çünkü birazdan göreceğimiz gibi, bu oldukça büyük bir veri seti.
‫Bir uyarı alıyoruz.
‫Burada ne varmış?
‫D tipi uyarı sütunları.
‫1339 4041 karışık tiplere sahiptir.
‫İçe aktarmada belirtilen tür seçeneği veya düşük bellek eşittir false olarak ayarlandı.
‫Yani buraya gidersek, düşük bellek eşittir false ayarını yaparak bu uyarıdan kurtulabiliriz.
‫Yani aslında Pandas CSV okuduğunda, bu fonksiyon başlatıldığında, veri çerçeveleri RAM'de yaşadığı
‫için veri kümesinin ne kadar büyük olduğuna bağlı olarak, Pandas kapladıkları alanı en aza indirmeye
‫çalışır.
‫Yani yaptığımız şey, düşük belleği eşittir yanlış olarak ayarlayarak, Hey, alanı en aza indirmeye çalıştığınızı
‫biliyoruz, ancak çok fazla endişelenmeyin.
‫Bir sürü ram alanımız var.
‫Yani bu işe yaramalı.
‫Bu uyarıdan kurtulabilmeliyiz.
‫Harika.
‫Yani sadece söylüyorum.
‫Denemek ve içe aktarmak istediğiniz şekilde saklayın.
‫Kullandığınız alanı küçültmeye çalışmayın.
‫Harika.
‫Ve muhtemelen yapacağımız ilk şey, neler olup bittiğine dair biraz bilgi almak için aşağıya inmek olacak.
‫İşte böyle.
‫Buna bir göz atabiliriz.
‫Bu, şimdiye kadar çalıştığımız en büyük veri kümesi.
‫412.698 satırımız var.
‫Bu çok fazla satır ve 53 sütun demek.
‫Unutmayın.
‫Sütunlarımıza bakacak olursak, bunlar değişkenlerimiz ve açıklamalarımızdır.
‫Bu yüzden satış kimliğimiz olmalı.
‫Evet, bu, belirli bir makinenin tanımlayıcısı olan boş olmayan bir tamsayı makine kimliğidir.
‫Makinelerin birden fazla satışı olabilir, bu da bir makinenin zaman dilimi boyunca birden fazla kez satılabileceği
‫anlamına gelir.
‫O halde, satış fiyatının yanı sıra bir zaman serisi olduğu için en çok dikkat edilmesini istediğimiz şey.
‫Makinelerimizin satış tarihi bu kadardır.
‫Yani bu, makinenin satıldığı zamandır.
‫Bu satış tarihine bir göz atalım.
‫Satış zamanı.
‫Çok güzel.
‫Tamam, şimdi ne yapabiliriz?
‫Satış tarihi bir tarih olduğundan, yapmak isteyebileceğimiz şey onu bir tarih olarak geçirmektir.
‫Ancak bunu henüz yapmayacağız çünkü bir şeyi göstermek istiyorum.
‫Bu yüzden bir olay örgüsü kuracağız çünkü ilk başladığımızda genellikle yaptığımız şey budur.
‫Her türlü proje bazı görselleştirmeler yapmaya çalışır.
‫Buna bakınca, burada çok şey oluyor, değil mi?
‫Mesela şuna bakabilirsin.
‫Eğer benim gibiyseniz ve sadece kelime ve sayı listelerine bakıp "Ah, bazı şeyleri gözümde canlandırmam lazım"
‫diyorsanız, bu çıkarımı yapmak zordur.
‫Bir şeylere bakmam lazım.
‫Ama aslında bundan ne anlayabiliriz?
‫Yani 412,698 girişimiz var.
‫Bunlar boş değildir.
‫Özellikle kullanım bandı için bazı eksik değerlerimiz olduğunu görüyoruz.
‫Dolayısıyla, veri sözlüğü kullanım bandımıza gelirsek, düşük, orta, yüksek, hesaplanmış değer, bu belirli makine
‫satış saatlerini ücret temel modeli için ortalama kullanımla karşılaştırır.
‫Yani ücrete dayalı olan gerçekten başka bir özellik.
‫İşte oldu.
‫Bu ücret modeli açıklaması, çok uzakta.
‫Burada buldozerlerimiz hakkında epeyce bilgimiz var.
‫Doğru.
‫Yani bu aslında oldukça iyi bir veri seti.
‫Ancak kullanım bandı için oldukça az sayıda kayıp değer olduğunu söyleyebiliriz çünkü sadece 73.670 boş olmayan nesne vardır.
‫Bu da 412.698 eksik değer olduğu anlamına geliyor.
‫Ve aslında bunu planlamadan önce de anlayabiliriz, hadi bunu anlayalım.
‫Elimizde DF'nin A'sı var, bu şekilde kontrol edeceğiz.
‫Eğer değer yoksa.
‫İşte oldu.
‫Dolayısıyla, Kullanım Bandında 339.028 eksik değer vardır.
‫Makine öğrenimi modelleri hakkında bildiklerimizi göz önüne alırsak, bir model oluşturmadan önce
‫bununla ilgilenmemiz gerekecek.
‫Ama ilerleyelim.
‫Çizim yapalım çünkü satış fiyatını tahmin etmeye çalışıyoruz ve verilerimizin bir zaman serisi olduğunu biliyoruz.
‫Bakmak isteyebileceğimiz şey, satış tarihlerini satış fiyatıyla karşılaştırmak gibi bir şeydir.
‫Ve burada çok fazla satır olduğu için, bunu yapacak olsaydık, tüm bu veri noktalarını tek bir grafikte çizmeye çalışırdık,
‫çünkü bir grafikte 412.000 nokta çizmeye çalıştığınızı hayal edin, bilgisayarınız zorlanacaktır.
‫O zaman 1000 kadar yapalım.
‫Neden olmasın?
‫Hadi gidelim.
‫Satış tarihi.
‫Buraya gidiyoruz, ilk bini yapacağız.
‫Buna ne dersin?
‫Bu oldukça büyük bir rakam.
‫Satış fiyatı yapmak istiyoruz.
‫Ve farklı sütunların adlarını öğrenmek ve hatırlamak istiyorsanız, her zaman sütunlara gidebilirsiniz.
‫Burada yaptığımız şey, satış tarihini alıyoruz, her neredeyse, satış, tarih orada, veri sözlüğümüze
‫gelirsek, referans almak istediğimiz yer burasıdır.
‫Yani satış zamanı, yani satıldığı tarih ve satış fiyatı.
‫Şimdi bu bizim veri sözlüğümüzde var mı?
‫Bence satış fiyatının ne olduğu aslında oldukça açık.
‫Oh, işte başlıyoruz.
‫Satılık, fiyat.
‫ABD doları cinsinden satış maliyeti.
‫Hadi bir bakalım.
‫Bunların ne zaman satıldığını kontrol edelim, satış tarihini x eksenine koyacağız
‫çünkü unutmayın, dağılım x, y ve satış fiyatı Y eksenindedir.
‫Hadi bir bakalım.
‫Ne varmış burada?
‫Oh, eşittir işaretimiz var.
‫Pekala.
‫Gördüğünüz gibi burada ilk bin örneğin satış tarihini aşağıya koymaya çalıştık.
‫İşte bu yüzden grafiğimiz biraz korkak görünüyor ve DataFrame DF satış tarihimize bakarsak
‫sadece paketlemeye çalışıyor.
‫İlk bine bakacak olursak, x ekseninde çizmeye çalıştığı şey budur.
‫Tüm bu değerleri burada çizmeye çalışıyor, böylece nasıl büyük bir barkod yığını gibi göründüğünü
‫ve ardından sadece büyük bir siyah metin yığını olduğunu görebilirsiniz.
‫Yapabileceğimiz şey bir histogram çizmektir çünkü her zaman mümkün olduğunca çok sayıda değişkenin veri dağılımı
‫olan dağılımı kontrol etmeyi severiz.
‫Ama bu durumda, neden satış fiyatı yapmıyorsunuz?
‫Çünkü bu bizim hedef değişkenimiz.
‫Yani satış fiyatı.
‫Ve şimdi, burada yaptığım şey bir tür yapılandırılmamış gibi görünüyorsa, bunun nedeni gerçekten de bir veri
‫kümesini keşfetmenin çok farklı yolları olmasıdır.
‫Sevdiğim en iyi yöntemlerden biri, herhangi bir null değer olup olmadığını görmek için sadece DFM bilgi kontrolüdür.
‫Bu yüzden NULL'un eksik değerlerde olduğu gibi olduğunu biliyoruz.
‫Böylece kaç tane kayıp değer olduğunu biliyoruz.
‫Sütunları kontrol edin.
‫Şu andan itibaren en önemli sütunlardan birini çizin.
‫Ben sadece satış tarihini seçtim çünkü bu bir zaman serisi problemidir. En önemli sütunlardan
‫birini satış fiyatına veya hedef sütuna göre çizin ve ardından seçtiğiniz birkaç sütunun dağılımını yapın.
‫Bunlar, bir veri setini ilk kez keşfederken yapmaktan hoşlandığım basmakalıp şeyler.
‫Ancak burada satış fiyatlarımızın çoğunun 20.000 USD'nin altında olduğunu görebiliyoruz.
‫Yani buradaki en büyük sütun, ya da çoğu değil ama büyük bir çoğunluk.
‫Büyük bir porsiyon.
‫Bir de 30.000'in altında olanlar var.
‫Diyelim ki 30.000, 40.000 ve sonra bu sayı gittikçe azalıyor
‫ve 100.000 USD'nin üzerinde çok fazla maliyet yok.
‫Yani burada baktığımız şey bu.
‫Tamam, şimdi.
‫Yapabileceğimiz şey, bu tarihlerin gerçekten istediğimiz formatta olmamasıdır.
‫D tipi nesnede nasıl olduklarına bakın.
‫Zaman serileriyle uğraşırken, tarihlerde mümkün olduğunca çok bilginin kodlanmasını istersiniz.
‫Biz de öyle yapacağız.
‫Yapabileceğimiz küçük bir yol.
‫Buna geçiş tarihleri denir.
‫Şimdi bunun geçen tarihlerde nasıl göründüğüne bir göz atalım.
‫Bu yüzden zaman serisi verileriyle çalıştığımızda, zenginleştirmek istiyorum.
‫Saat ve tarih bileşeni mümkün olduğunca fazla, "Peki, bunu nasıl yapacağız?" diye düşünüyor olabilirsiniz.
‫Şuraya koyalım.
‫Bunu pandalara hangi sütunlarımız olduğunu söyleyerek yapabiliriz.
‫İçinde tarih var.
‫Kullanıyorum.
‫Geçmiş tarihler parametresi.
‫Harika.
‫Ve bunun yapacağı şey, tarihleri geçmek için hangi sütunu geçersek geçelim onu bir tarih saat nesnesine dönüştürmektir.
‫Önce ne olduğunu görelim.
‫Bir tarih saati.
‫Nesne ve pandalar.
‫Burada Zaman Damgası iki tarih saati var, böylece bir sürü farklı şeyi öğrenebilirsiniz.
‫Hangi tarihte?
‫Buradaki saat, tarih saatidir.
‫Object Timestamp, Python'un Date Time'ının bir panda eşdeğeridir ve çoğu durumda onunla değiştirilebilir.
‫Tamam.
‫Çok güzel.
‫Yani temel olarak bunu çalıştırdığımızda, tekrar yapalım, verileri tekrar içe aktaralım, ancak bu sefer tarihleri geçirelim.
‫Unutmayın, şüpheniz varsa kodu çalıştırın.
‫PD CSV'yi okudu ve buldozerler için veri döngüsü kitabına gideceğiz ve eğitime gideceğiz.
‫Geçersiz bir şey dene.
‫Bizi harika görün.
‫Ama bu sefer geçeceğiz.
‫Düşük bellek eşittir yanlış olduğundan bu uyarıyı almayız.
‫Ve sonra onu geçireceğiz, tarihleri geçireceğiz ve sütun adını satış tarihi olarak geçireceğiz.
‫Neden?
‫Çünkü randevularımız orada.
‫Bu yüzden bunun ne olduğuna dikkat edin.
‫Yani eğer tarih yelkenine gidersek, bu D tipi bir nesnedir.
‫Buraya biraz D tipi, o tipi koyabiliriz.
‫Bunu yaptığımızda, aradaki farkın ne olduğunu görelim.
‫Şimdi bu, orijinal veri çerçevemizi geçersiz kılacak, böylece gidebiliriz.
‫DFCS Satış Tarihi nokta D tipi.
‫Bu biraz garip.
‫Ya DF Saudade yapsaydık?
‫Neye benziyor?
‫İlk 2000 yılında denize açılmadınız mı?
‫Aha.
‫Tamam.
‫Eğer buraya gelirsek.
‫Saoudite var.
‫Nasıl göründüklerine bakın.
‫PANDAS'ın yaptığı şey, tarihleri geçmesini sağladığımız için, Saoudite sütunundaki tüm değerlerin üzerinden
‫geçip onları bu stile dönüştürmektir.
‫Yani yıl, ay, gün var ve veri türünün tarih saat olduğunu görebiliyoruz.
‫64 ve eğer Google'a bakarsanız.
‫Bu ikisini karşılaştırın çünkü neden burada buradakinden farklı bir değere sahip olduğunu merak ediyor olabilirsiniz.
‫NumPy'de bu ikisinin eşdeğer olduğunu göreceksiniz.
‫Bu yüzden benim sözüme güvenmek zorundasınız.
‫Google'da arayabilirsin.
‫Sırf sana kanıtlayabilmek için bunu gerçekten yapabiliriz.
‫Buraya gidiyoruz.
‫Control C yani veri türü nedir?
‫İşte oldu.
‫Bu zaman 64 genel bir d-tipi iken, bakımlar belirli bir zamandır.
‫İşte oldu.
‫Burası Stack Overflow.
‫Yani bu sadece bir iş akışı, değil mi?
‫Bir şey alamadığınızda, işte başlıyoruz.
‫MP D-tipi tarih saat 64 boş tip eşe eşittir.
‫Biz de bunun peşindeyiz.
‫Ama şimdi tarihlerimiz geçtiğine göre, daha önce yaptığımız planın aynısını yapalım.
‫Yani incir x eşittir alt grafikleri çizmek.
‫Harika.
‫Biz de aynı şeyi yapacağız.
‫X dağılmıyor.
‫Bu videoyu bir saniye içinde bitireceğiz, çünkü aslında acelemiz var.
‫Doğru.
‫Öğreniyoruz.
‫Araştırıyoruz.
‫Satış fiyatı, ve sonra buraya gideceğiz.
‫Bin tane yapıp nelerin farklı göründüğünü göreceğiz.
‫Harika.
‫Buraya geri döndüğümüzde, Saudade sütunumuz artık datetime
‫nesne haritası çizimi biçiminde olduğu için tüm bunları oraya koymaya çalıştığımız için bir
‫sürü siyahımız var.
‫Lib, veri türüne akıllıca bakabilir ve ardından buna göre çizebilir.
‫Burada fiyatlar var, bu yüzden çok fazla satış olduğunu görebiliyoruz, belki 2005'te bir şey oldu,
‫bu yüzden 2005'te çok fazla satış olmadı, 2008, sanırım bu finansal kriz ya da bunun gibi bir şey olabilir.
‫Yani burada çok fazla satış olmadı.
‫Ve sonra tekrar, bu 2008, 2009 yılları arasında.
‫En yüksek satışın sadece 2007 yılında yapıldığını görebiliyoruz.
‫Ve sonra 2009 ile 10 yılları arasında çok sayıda satış var.
‫Ama yine de bu bize pek bir şey anlatmıyor, değil mi?
‫Sadece neler olduğuna dair bir fikir ediniyoruz.
‫Şimdi bir kez daha bakalım.
‫Şuna bir bak.
‫Duymadınız mı?
‫Bu, birlikte çalıştığımız veri şirketimiz.
‫Burada satış kimliği, satış fiyatı ve bir sürü farklı sütun var.
‫Ve bir sürü eksik değer olduğunu görebiliriz.
‫Şasi altı ped genişliğinin ne anlama geldiği hakkında daha fazla bilgi edinmek istersek, veri sözlüğümüzü kullanabileceğimizi
‫unutmayın.
‫Buraya bir göz atabiliriz.
‫İşte oldu.
‫Makine konfigürasyonu, paletli işlemlerin genişliği.
‫Harika.
‫Şimdi biraz keşif yaptık.
‫Yapabileceğimiz şey, veri çerçevemizi satış tarihine göre sıralamak ve sonra oradan devam etmek, biraz daha değişiklik yapmaktır.
‫Bunu bir sonraki videoda yapacağız, ancak bunun dışında veri çerçevesini keşfetmeyi, içe aktarmayı ve tarihleri
‫satış tarihi ile geçirmeyi ve tarihleri geçirmemeyi denemeyi ve tarihleri geçirdiğinizde ve geçirmediğinizde veri türündeki
‫farkı kontrol etmeyi deneyin.