‫Tamam.
‫Peki bir veri mühendisi gerçekte ne yapar?
‫Bir veri mühendisinin ne yaptığını gerçekten anlamadan önce anlamamız gereken üç büyük kelimeyle
‫başlayalım.
‫Evet, biliyorum.
‫Veri mühendisinin etrafında dönüp duruyorum ve sizi heyecanlandırmaya devam ediyorum, ama söz veriyorum gerçekten çok
‫yaklaşıyoruz.
‫Duymuş olabileceğiniz ya da olmayabileceğiniz bu üç kelimeyi tartışmamız gerekiyor.
‫Bunlardan biri veri madenciliğidir ve veri madenciliği basitçe ön işleme ve verilerden bazı bilgilerin çıkarılması anlamına
‫gelir.
‫Bu yüzden bilgi elde etmek için bir tür veri kullanırız.
‫Veri madenciliği budur.
‫Büyük veri mi?
‫Bu, çok fazla veriye, çok fazla değişkene, aslında dizüstü bilgisayarınızda çalıştıramayacağınız kadar
‫çok veriye sahip olduğumuz anlamına geliyor.
‫Dizüstü bilgisayarınızın veya bilgisayarınızın tutamayacağı kadar çok veri var.
‫Genellikle büyük veriden bahsettiğimizde, bu verileri depolamak için çok sayıda bilgisayara ve çok sayıda
‫depolama alanına sahip oldukları için bulut bilişimde veya AWS Azure ve Google Cloud gibi birden fazla bilgisayarda çalıştırmanız
‫gereken çok büyük verilerdir.
‫İşte bu yüzden büyük veri, genellikle tek bir bilgisayarda sahip olamayacağınız bir veridir.
‫Bu genellikle veri setleri çok büyüdüğü için olur.
‫Artık petabaytlarca ve petabaytlarca verimiz var.
‫Dolayısıyla, MySQL veya post grass gibi bir veritabanında veya herhangi bir veritabanı türünde veri bulundurmak, bu veritabanı yalnızca tek bir
‫makine olduğunda gerçekten zorlaşır.
‫Şimdi, bu büyük veri sorununu çözmek için Hadoop ve NoSQL gibi yeni teknolojiler icat edildi, bunlardan bahsedeceğiz.
‫Şimdi bir veri hattı, esasen bir veri mühendisinin bu büyük miktarda veriye sahip olduğumuz gerçeğini kullanmak için oluşturduğu
‫bir boru hattıdır, veri madenciliği kullanarak bu verilerden bilgi çıkarmamız gerekir.
‫Dolayısıyla, bu bilinmeyen büyük miktardaki veriden, veriyi daha kullanışlı bir forma dönüştüren bir boru hattına
‫akmamızı sağlayan bir boru hattı getirmemiz veya inşa etmemiz gerekiyor.
‫Yani bir veri mühendisi esasen Iot cihazları, mobil uygulamalar, web uygulamaları, kameralar, arabalar ve
‫veri toplayan ve bilgileri depolayan veya sunuculara veya buluta veri kaydeden hemen hemen her şey gibi
‫farklı cihazların tüm bilgilerinin yer aldığı bir veri hattı oluşturur.
‫Bir veri mühendisi esasen tüm bu bilgileri güzelce paketlenmiş veritabanlarında ve depolama motorlarında biriktirir, böylece şirketin
‫farklı bölümleri görselleştirmeler oluşturabilir, ürünlerinin performansını izleyebilir, iş içgörüleri
‫elde edebilir ve bu verilerden iş kararları alabilir ve hatta bu verileri uygulamalarında
‫kullanabilirler.
‫Örneğin, bir veri bilimcisi veya makine öğrenimi uzmanı, hatta bir iş zekası veya veri analisti
‫büyük bir şirket için işe alınmadan önce kullanıcı profilleri için.
‫Tüm bunların yapılabilmesi için önce yapmaları gereken şey bir veri mühendisi işe almaktır.
‫Veri bilimcisi olarak çalışmamızı sağlayan boru hattını inşa ediyorlar.
‫Bu diyagramı ve bu kısma nasıl odaklandığımızı hatırlayın.
‫Bir veri mühendisi bu veri toplama kısmını yapmamızı sağlar.
‫Tüm bu bilgileri getiriyorlar, veri modellememizi yapabilmemiz için bir şekilde düzenliyorlar.
‫Genellikle bir makine öğrenimi mühendisi veya veri bilimcisi olarak kendinizi çok fazla ilgilendirmek zorunda olmadığınız bu veri toplama
‫kısmında bize gerçekten yardımcı oluyorlar.
‫Ama ne var biliyor musun?
‫Veri mühendisinin ne olduğuna dair en sevdiğim gösterim bir sonraki videoda.
‫Umarım heyecanlısınızdır çünkü her şey giderek daha anlamlı hale gelmeye başlayacak.
‫Görüşürüz.
‫Güle güle.