‫Hadoop hakkında konuşalım.
‫Şirketler giderek daha fazla veri üretmeye başladıkça, MySQL gibi veri tabanlarımız çok verimsiz
‫hale geldi veya büyük miktarda veriyi tutamaz oldu.
‫Ve Hadoop, veri mühendisliğinin temel taşı haline geldi.
‫Hadoop açık kaynaklı bir dağıtık işleme çerçevesidir.
‫Büyük veri için veri işleme ve depolama yapmamızı sağlar.
‫Ve aslında Yahoo tarafından geliştirildi!
‫O günlerde ve daha sonra Apache Yazılım Vakfı'na bağışlandı.
‫Büyük veri çılgınlığı başladığında Hadoop çok popülerdi.
‫Hadoop, petabaytlarca veriye sahip tüm bu şirketlerin bu bilgileri Hadoop'ta depolamasına olanak tanıyan
‫bir çözümdü.
‫Şimdi, Hadoop aslında bir veri gölüydü, değil mi?
‫Bu bir veri gölü çözümüdür.
‫Tüm bu verileri bizim için saklamamızı sağlar.
‫Ancak Hadoop'un popülerliği iki büyük şeyden kaynaklanıyordu.
‫Biri HD FS idi.
‫Bu, Hadoop dağıtılmış dosya sistemidir.
‫Hadoop, tıpkı bilgisayarınızdaki gibi bir dosya sistemi olan ve dosyaları birden fazla bilgisayarda depolayabilmesini
‫sağlayan HDFS sayesinde bu kadar çok veriyi depolayabildi.
‫Yani, istediğimiz kadar veri depolamak için Hadoop'u birden fazla bilgisayarda kullanabiliriz.
‫Ölçeklenebilirdi.
‫Ölçeği büyütebiliriz.
‫Böylece veriler farklı fiziksel bilgisayarlarda depolanır.
‫Ardından MapReduce geldi, çünkü verileri depoladıktan sonra, bu veriler üzerinde bazı işler, bazı işlemler yapmamız gerekiyor.
‫Doğru.
‫Ve Hadoop'taki MapReduce, Java veya Python gibi dilleri kullanarak bir veri gölünde sahip olduğumuz bu verilere karşı işler
‫gerçekleştirmemizi sağladı.
‫Toplu işleme dediğimiz şeyi yapmak için Hadoop'ta MapReduce kullanabilirsiniz.
‫Yani, her gece verilerimizi temizlemek, verilerimizi işlemek ve şirket için yararlı hale getirmek için
‫bir tür iş çalıştırabiliriz.
‫Videoların ilerleyen bölümlerinde göreceğimiz gibi MapReduce artık o kadar sık kullanılmıyor çünkü Apache Spark
‫adında aslında biraz daha hızlı bir şey var.
‫Ama ona da geleceğiz.
‫Buradaki fikir, nihayet Hadoop ile HDFS ve Ron batch işlerini kullanarak bu büyük veri kümeleri
‫üzerinde MapReduce kullanarak çok sayıda makinede çok sayıda veri depolamamıza olanak tanıyan bir araca sahip olmamız ve Hive gibi Hadoop araçlarının
‫etrafında birçok başka aracın ortaya çıkmaya başlamasıdır.
‫Bu arada logolarına bayıldım.
‫Şuna bir bak.
‫Her neyse.
‫Hive, Hadoop kümenizi oluşturur.
‫İlişkisel bir veritabanı gibi hissedin.
‫Öyle olmasa bile.
‫Hive'ı kullanmanıza ve HDFS dosya sisteminize karşı SQL sorguları yazmanıza olanak tanır.
‫Yani bir anlamda, Hadoop'un bu veri gölüne ve ayrıca MapReduce kullanılarak işlendiğini umduğunuz verileriniz üzerinde
‫SQL komutlarına izin vererek Hive ile biraz veri ambarı türü bir şeye sahip oldunuz.
‫Ve Hadoop'u daha önce duymamış olabilirsiniz çünkü veri mühendisleri tarafından kullanılıyor.
‫Unutmayın, veri mühendisleri genellikle müşteriye dönük sistemler üzerinde çalışmazlar.
‫Yani, uygulamanızla veya bir web uygulamasıyla kullanacağınız veritabanları oluşturmazlar.
‫Bunun yerine, verileri alan, toplayan, çalıştıran, ETL işlerini, yani ayıklayan, dönüştüren, yükleyen perde arkasındaki
‫sistemleri inşa ederler.
‫Yani Hadoop, bazı yararlı bilgilere sahip olabilmemiz için bu verilere karşı toplu işlem yürüten büyük miktarda
‫veriyi depolayan perde arkası depolama katmanıdır.
‫Ve Hadoop, büyük veriler, petabaytlarca veri söz konusu olduğunda hala çok popüler ve çok yetenekli.
‫Bir sonraki videoda birkaç araç daha öğrenelim.