‫Verilerimizi şimdi X train y, train x validation, y validation olarak aldık.
‫Ancak önceki bir videoda modelimizi skor fonksiyonunu kullanarak değerlendirmiştik.
‫Bir okul işlevi ne kullanır?
‫Belirleme katsayısını kullanır, ancak yukarıya doğru hatırlarsak, en
‫tepeye geri döneceğiz.
‫Sadece kontrol etmek için, çünkü bunu yazdık.
‫Bu yarışma için, yani üzerinde çalıştığımız bu proje için değerlendirme ölçütünün büyük
‫ölçüde veya başka bir deyişle kök ortalama karesel log hatası olduğunu biliyoruz.
‫Bu, belirleme katsayısı ile aynı şey değildir.
‫Bu değerlendirme işlevini nereden aldığımızı merak ediyorsanız, başlangıçta gördüğümüz rekabete genel
‫bakış değerlendirmesinden alıyoruz, ancak bunu tekrar kontrol edeceğiz.
‫Değerlendirme.
‫Dolayısıyla bu yarışma için değerlendirme ölçütü kol uzunluğudur.
‫Gerçekte ne olduğunu görmek için bunu Google'da arayabiliriz.
‫Şuraya gidelim.
‫Kök ortalama karesel log hatası.
‫Kök ortalama karesel logaritmik hatayı nasıl yorumlarsınız arasındaki fark nedir?
‫Pekâlâ, elimizde birkaç seçenek var.
‫Daha fazla okumak isterseniz, bunlar bakabileceğiniz şeyler.
‫Ama bunu kod içinde çalışacağız.
‫Aşağı inelim.
‫Merak ediyor olabilirsiniz, gerçekten bahsedilen tüm kök ortalama karesel log hatalarını görmedik.
‫Bu kendi içinde biraz ağız dolusu.
‫Dolayısıyla yapabileceğimiz şey, kendi değerlendirme fonksiyonumuzu oluşturmak olacaktır çünkü açılış konuşmamıza
‫geri dönersek, sınıflandırma ve regresyon metrikleri, burada regresyon problemi üzerinde çalışıyoruz.
‫Bu, sanırım siklon bölümündeki slaytlardan biri.
‫Bir ana, mutlak hata OC ortalama karesel hata, MSI, OC kök ortalama karesel hatamız var.
‫Ancak bunun günlük bileşeni eksiktir.
‫Bakalım bunu src siklonundan geçirebilecek miyiz?
‫O zaman buraya geri dönelim.
‫Yapabileceğimiz şey kendimizinkini inşa etmektir.
‫Yani bina ve bir değerlendirme fonksiyonu.
‫Şimdi bu, üzerinde çalıştığınız projeye bağlı olarak yapmanız gerekebilecek bir şey, değil mi?
‫Yani bu kablo yarışması üzerinde çalışıyorsak ve bir nedenden dolayı bu ölçütü kullanmamız gerektiğini
‫söylerlerse, kim bilir?
‫Bu meydan okumayı yayınlayan kişiler buna ihtiyaç duyabilir.
‫Bunun en iyi değerlendirme ölçütü olduğuna karar vermiş olabilirler.
‫Hangi proje üzerinde çalıştığınıza bağlı olarak, kullanım durumunuza en uygun değerlendirme işlevini
‫bulmanız gerekebilir.
‫Birden fazla deney yapacağımız için bir değerleme fonksiyonu oluşturacağız.
‫Birden fazla farklı makine öğrenimi modeli kurmak ve bunları değerlendirmek istiyoruz.
‫Bu yüzden bunu bir fonksiyon haline getireceğiz, böylece kendimizi tekrar etmek zorunda kalmadan bu işlevi birden çok kez
‫kullanabileceğiz çünkü tüm bu kodu yazmak konusunda biraz tembeliz, anlıyor musunuz?
‫Sadece daha fazla deneme yapmak ve bir değerleme fonksiyonu oluşturmak istiyorum.
‫Yarışma, kök ortalama karesel log hatası SLA'yı kullanır, böylece skaler ve matristen geçebiliriz.
‫Ve size psişik öğrenmeyi anlatabilirim, SRC'ye gidebilirsiniz, değerlendirme matrisini öğrenebilirsiniz, ancak buradan geçebiliriz, bazı
‫değerlendirme metriklerine, ortalama kareye, log hatasına bakabiliriz.
‫Tamam.
‫Yani bunu kullanabiliriz.
‫Ana karesel log dönemi, ancak bunun üzerine kendi küçük parçamızı eklememiz gerekecek çünkü bu kök ortalama
‫karesel log hatası değil.
‫Bu yüzden bunu alabiliriz.
‫Bunu ithal edebiliriz.
‫Hadi yapalım şunu.
‫Bu yüzden SQL Learned Metrics'ten ana karesel günlük hatasını içe aktarın ve bunun için ortalama mutlak hata yapın.
‫Tüm örnekler üzerinde tahminler yaparsınız ve daha sonra tahminlerinizi gerçek değerlerinizden çıkarır ve ortalamasını
‫alırsınız.
‫Bu ortalama mutlak hatadır.
‫Peki, gerçek satış fiyatına göre tahmininiz ortalama ne kadar?
‫Ancak ana karesel log hatası daha çok oranla ilgilidir ve çoğu zaman regresyon problemleriyle ilgilidir, doğru.
‫Eğer bir şeyde 10$ indirim isterseniz.
‫Yani bu satış fiyatının 10 dolar altında olsaydık, tahmin gerçekten önemli olmazdı.
‫Ama %10 indirim yapsaydık, bu oldukça kötü olurdu, değil mi?
‫Yüzde 10'dan fazla indirim istemezsiniz.
‫Değer ne olursa olsun bir şey ekleyin.
‫Yüzde 20 olabilir.
‫Yüzde 30 olabilir.
‫Ama bu ikisi arasındaki fark da bu, değil mi?
‫Mutlak değerini gördüğünüz her seferde bunun 10$ kapalı olduğunu düşünün ve kare ya da bir çeşit log gibi gördüğünüz
‫her seferde bunu oran gibi düşünün.
‫Yani %10 indirim söz konusu olduğunda, bu ikisini gerçekten birbiriyle karşılaştırabilirsiniz.
‫Ancak slaytta bu konudan biraz daha bahsedeceğiz.
‫Bunun bir ekran görüntüsünü almak isteyebilirsiniz.
‫Bu oldukça iyi.
‫Ancak bunların hepsi daha sonra kontrol edebileceğiniz slaytlarda olacak.
‫Bir değerlendirme fonksiyonu oluşturmak istiyoruz.
‫Ana kare log hatamız var.
‫Peki bunu kök ortalama karesel log hatasına nasıl dönüştürebiliriz.
‫Hadi deneyelim.
‫Belki buraya gideriz.
‫Kök anlamı yazmak istemiyorum.
‫Hayır, bu çok fazla.
‫Ah se mess l e root demek.
‫Kareli log hatası.
‫Çok güzel.
‫Ve bu sadece neden test edilebileceğini ve neden psişik öğrenme işlevimle aynı girdileri alacağını alabilir.
‫Öyleyse bunun nasıl doğru olduğunu görün neden okuyun y doğru olabilir neden test gerçekten önemli değil neden test ve sonra buraya
‫gidiyoruz kendimiz için küçük bir docstring bırakacağız.
‫Ana karesel log
‫hata oranını hesaplar.
‫Tahminler ve gerçek, gerçek etiketler arasında.
‫Harika.
‫Ve sonra geri dönebiliriz.
‫Sadece güzel ve basit.
‫Sadece ortalama karesel log hatasının karekökünü kullanabiliriz.
‫Bunu test değerlerine ve tahminleri ortalama karesel log hatasına aktarmamız gerekecek.
‫Bu aslında oldukça kolay.
‫Burada yaptığımız şey, karekökünü almak.
‫Yani, doğru.
‫Yani ana karesel log hatasının kök bileşeni, tahminler ve gerçek etiketler arasındaki ana karesel log hatasıdır.
‫Harika.
‫Bu yüzden Cargill'in gereksinimlerini karşılayan kendi değerlendirme fonksiyonumuzu oluşturduk, kök ortalama karesel
‫log hatası.
‫Ve muhtemelen birkaç şeyi daha kontrol etmek istiyoruz, örneğin birkaç şeyi aynı anda kontrol etmek için bir değerlendirme fonksiyonu oluşturmak
‫istiyoruz, böylece bunun gibi bir şeyi sürekli çağırmak zorunda kalmayız.
‫Öyleyse modeli birkaç farklı seviyede değerlendirmek için bir fonksiyon oluşturalım.
‫Dolayısıyla, değerlendirme de en az gerçek modeli oluşturmak kadar önemlidir.
‫Bu yüzden buraya gidip skor modelini göstereceğiz ve modelimizi ona aktaracağız.
‫Eğitim verileri üzerinde bazı tahminler yapacağız, bazı model tahminleri yapacağız.
‫Böylece modelimizin eğitim verisi X train üzerinde nasıl çalıştığını değerlendireceğiz ve ardından modelimizin doğrulama verisi
‫modeli DOT predict üzerinde nasıl çalıştığını değerlendireceğiz, burada X validation'ı geçeceğiz.
‫Modelimiz doğrulama veri setinde daha iyi performans gösteriyorsa, bu bize modelimizin aşırı uyum sağladığını
‫gösterir.
‫Dolayısıyla, eğitim ve doğrulama arasında genel olarak, doğrulama setimizde yalnızca 12.000 örnek olduğundan ve modelimizi
‫bunun üzerinde eğitmediğimizden, doğrulama setinde eğitim setinin sürümünden biraz daha kötü metrikler görmek
‫istersiniz.
‫Yani skorlar eşit olacak.
‫Belki bir çeşit sözlükle geri döneriz.
‫Evet.
‫Yani eğitim bir olabilir. k. ortalama mutlak hata.
‫Biz gidiyoruz.
‫Sekme yapabilir miyim?
‫Ne demek istiyorsun?
‫Kesinlikle.
‫Evet, antrenman yapabilirim.
‫Unutmayın ki sadece y trenini karşılaştırıyoruz.
‫Yani bu, eğitim tahminlerine karşı eğitim etiketlerindeki eğitim ortalama mutlak
‫hatasıdır ve güzel, geçerli mayıs ayına gideceğiz, bu yüzden yine bu geçerli MA'nın biraz daha kötü olmasını beklersiniz
‫ve eğitim bu y geçerli olacak ve bu da sesli ekmekler olacak ve sonra kök ortalama karesel hata için eğitim
‫kasına gideceğiz ve bunu burada oluşturduğumuz süslü küçük işlevimizi kullanarak yapabiliriz.
‫Bu heyecan verici.
‫Kendi değerlendirme fonksiyonlarımızı yazıyoruz.
‫Belki de bu psişik aslan için bir çekme isteği potansiyelidir.
‫Neden kök ortalama karesel log hatası almadıklarını merak ediyorum.
‫Belki o kadar popüler değildir ya da belki bu şekilde kendiniz kolayca oluşturabilirsiniz.
‫Bu doğru mu?
‫Neden?
‫Tren, tren kafaları?
‫Çok konuşuyorum.
‫Şifreli konuşmayın çocuklar.
‫Hayır, şaka yapıyorum.
‫Ne istersen yapabilirsin.
‫İşte başlıyoruz.
‫Burada, MSL, makine öğrenimi modellerinizi az değerlendirmeyin.
‫Yapmana izin verilmeyen tek şey bu.
‫Herkes iyi bir modeli sever, ancak herkes iyi değerlendirilmiş bir makine öğrenimi modelini daha da çok sever.
‫Ve son olarak, iyi bir önlem için dört tane.
‫Burada olduğumuza göre, varsayılan puanı yapalım ve belki de bunu içe aktarırız.
‫Bu da muhtemelen biraz daha iyidir.
‫Sayı yapmak için mi?
‫Bu da ne?
‫Bu neden çalışmıyor?
‫Sekme Tamamladığım şey bana bazı sorunlar veriyor.
‫Bu yüzden sadece R2 skoru üzerinden ilerlemeliyiz.
‫Evet.
‫İçgüdülerinize güvenin, gol atmaya başlayacaksınız.
‫Yani orada değiştirdiğimiz tek şey bu.
‫Bir şeyi yeniden yapmak yerine, sadece ithal edeceğiz.
‫Şimdi, bu oldukça iyi bir işlev.
‫Yalan söylemeyeceğim.
‫Birkaç şeyi hallediyor.
‫Deneyin ve Fred'in muhtemelen düzeltebileceğimiz bazı fazlalıkları var.
‫Ama sorun değil.
‫Mümkün olduğunca hızlı denemeler yapmaya çalışıyoruz.
‫Vay canına, deneylerimiz yavaşlıyor diye düşünüyor olabilirsiniz, ama kendi pratiğinizle, beni
‫dinlemek ve bu tür şeylerin üzerinden geçmek zorunda kalmadan, deneylerden hızla geçeceksiniz,
‫bunun yanlış olduğunu biliyorsunuz, değil mi?
‫Bu sesli harfler geçidi olmalı, sesli harfler prensi.
‫Çok güzel.
‫Ve skorları geri getireceğiz.
‫Pekâlâ, burada ne yaptık?
‫Dolayısıyla, bu özel proje için gerekli olana ve bizim durumumuzda kök ortalama karesel log hatasına uygun bir
‫değerlendirme işlevi oluşturduk.
‫Bunu yapmaya devam edersem sesim kısılacak ve sonra bir sürü başka ölçüm yapacak küçük bir yardımcı
‫fonksiyon daha yarattık.
‫Verdiğimiz bir modeli kullanarak bazı tahminlerde bulunacak ve daha sonra bu tahminleri bir
‫dizi farklı oyun alanında karşılaştıracak.
‫Ortalama mutlak hata üzerinde kök ortalama karesel log hatası ve belirleme katsayısı üzerinde.
‫Vay be.
‫Kendi özel değerlendirme fonksiyonlarımızı oluşturduğumuz bu video için muhtemelen bu kadarı yeterli olacaktır.
‫Şimdi, yine, bu kendi projeleriniz için yapmak isteyebileceğiniz bir şey çünkü mümkün
‫olduğunca çok deney yapıyoruz.
‫Bunun gibi değerlendirme fonksiyonlarına sahip olmak faydalıdır, böylece her yeni model denediğimizde bunu
‫yeniden yazmak zorunda kalmak yerine bir sürü farklı şeyi hızlı bir şekilde yapabilirsiniz.
‫Ama.
‫Vardiyaya basalım ve Matt'e girelim.
‫Böylece fonksiyonlarımız örneklendi ve bir sonraki videoda bunları test etmeye çalışacağız.