‫Bir veri mühendisinin ne yaptığına dair bu üst düzey genel bakışı, yaptıkları üç ana görevi açıklayarak bitirelim.
‫Birincisi, ETL boru hattı dediğimiz şeyi oluşturmalarıdır.
‫Ya da bir ayıklama dönüştürme yükleme hattı.
‫Dolayısıyla, basitçe verilerin bir yerden başka bir yere taşınması anlamına gelen veri alımının aksine.
‫ETL boru hattı ise bir veri mühendisinin tüm bu sistemler tarafından üretilen verileri ayıklaması
‫fikridir.
‫Bu verileri çıkarıyorlar ve sonra bu verileri çıkardıklarında dönüştürüyorlar.
‫Verilerin kullanışlı bir forma, yani bir veri ambarına yüklenebilecek bir forma dönüştürülmesi.
‫Böylece verileri çıkarıyorlar.
‫Verileri dönüştürürler.
‫Ve bu verileri veri ambarı gibi bir şeye yüklerler, böylece veriler şirketin geri kalanı tarafından kullanılabilir.
‫Ve bu ETL işlerini gerçekleştirmek veya yükü dönüştürmek için Python, Go Scala ve Java gibi programlama dillerini
‫kullanıyorlar.
‫İlk görevimiz bu.
‫İkincisi ne?
‫İkincisi ise analiz araçları oluşturmaktır.
‫Şirket sistemlerimizin nasıl çalıştığını anlamamız için görüyorsunuz.
‫Bir veri mühendisinin, sistemin herhangi bir parçası bozulduğunda bize haber verildiğinden emin olması gerekir.
‫Dolayısıyla bir veri mühendisi, veri bilimcilerin, veri analistlerinin, iş zekası çalışanlarının verileri analiz etmek
‫için araçları kullanmalarına ve aynı zamanda kurdukları sistemin doğru çalıştığından emin olmalarına olanak tanır.
‫Son olarak, üçüncü ana görevlerinin veri ambarı ve veri göllerinin bakımını yapmak olduğu açıktır.
‫Bu, içerideki her şeyin şirketlerin diğer bölümlerinin kullanımı için erişilebilir olduğundan emin olmaktır.
‫Artık bir veri mühendisinin ne yaptığına dair üst düzey bir genel bakışa sahibiz.
‫Sektörde kesinlikle duyduğunuz bazı araçlardan, Hadoop, Kafka, Apache,
‫Spark gibi anlaşılması gerçekten zor olan tüm bu terimlerden bahsetmek istiyorum.
‫Size bu manzara hakkında genel bir bakış sunmaya çalışacağım, böylece bir dahaki sefere birisi size "Hey, Hadoop kullanmalı mıyız?" diye sorduğunda
‫bu soruyu yanıtlayabileceksiniz.
‫Hey, Hadoop ne için?
‫Kafka'ya ihtiyacımız var mı?
‫Buna cevap verebilirsin.
‫Ve bu kurstan sonra, kendi başınıza gidebilir ve işinizde karşınıza çıkarsa bu araçları kullanmayı
‫öğrenebilirsiniz.
‫Şimdi bu manzara hızla değişiyor.
‫Sağda, solda ve ortada yeni araçlar ortaya çıkıyor.
‫Bu yüzden size tavsiyem, önümüzdeki birkaç videoda göstereceklerimi tüm veri mühendisleri
‫için mutlak bilinmesi gerekenler olarak kabul etmemenizdir.
‫Bunun yerine, var olduklarını bilin.
‫Gidin ve bazı belgeleri, bazı bilgileri çevrimiçi olarak okuyun, ancak bunları yalnızca ihtiyaç duyulduğunda
‫öğrenin veya kullanın çünkü sürekli güncelleniyorlar.
‫Ve veri mühendisliği dünyası şu anda gerçekten çok hızlı ilerliyor.
‫Ancak bunu söyledikten sonra, önümüzdeki birkaç videoda veriler üzerinde inekleyelim.