‫Tekrar hoş geldiniz.
‫Verilerin bir şirket tarafından nasıl kullanıldığına dair tüm bu akışı gözden geçirdik.
‫Ancak bahsetmek istediğim birkaç şey daha var, çünkü şu anda sadece sudan bahsettik ve bu
‫gerçekten nasıl uygulanabilir?
‫Veri mühendisleri gerçekte ne tür araçlar kullanıyor?
‫Şöyle bir şey duymuş olabilirsiniz.
‫Kafka ve Kafka'ya daha sonra geleceğiz.
‫Ancak bu veri akışlarını toplamak ve bir veri gölüne koymak gibi bir şey.
‫Örneğin Kafka veya Apache Kafka'nın veri gölleri için yapabileceği bir şey olabilir.
‫Bunlar basitçe şirketlerin kullanabileceği programlardır.
‫Örneğin, Hadoop veya Amazon S3 ya da Azure Data Lake'i duymuş olabilirsiniz.
‫Bunlar, veri sızıntısı gibi büyük miktarda veriyi tutmak için mühendisler tarafından oluşturulmuş programlardır.
‫Veri ambarımız için de Google, BigQuery, Amazon, Redshift, hatta Amazon, Athena gibi araçlarımız
‫var.
‫Bunlar, mühendislerin sorgulama yapmasına veya bu yapılandırılmış verileri analiz etmesine olanak tanıyan veri ambarlarıdır.
‫Şimdi ne düşündüğünü biliyorum.
‫Tüm bu sistemde kim ne yapıyor?
‫Veri mühendisinin bizim için tüm bu sistemi oluşturduğunu öğrendik.
‫Verileri almak ve daha sonra bir veri gölüne veya veri ambarına koymak için farklı araçlar ve programlar kullanırlar.
‫Yani bir veri bilimci ve makine öğrenimi uzmanı olarak.
‫Hangi verileri kullanıyorsunuz?
‫Videoyu durdurun ve düşünün.
‫Cevap için hazırım.
‫Çoğu zaman bir veri gölü ile çalışıyor olursunuz.
‫Çünkü unutmayın, makine öğrenimi yapıyorsanız elinizde ne kadar çok veri olursa o kadar iyidir, değil mi?
‫Ve makine öğrenimi ile yapılandırılmış veya yapılandırılmamış verileri kullanabilirsiniz.
‫Böylece bir veri gölüne girebilir ve ister CSV formlarında ister başka formlarda olsun, modelleriniz için kullanmak
‫üzere bir grup veri alabilirsiniz.
‫Ve genellikle veri ambarları bebekler veya iş zekasına sahip kişiler veya iş analistleri veya veri analistleri tarafından
‫verileri görselleştirmek veya analiz etmek için kullanılır.
‫Çünkü veri ambarında genellikle veri sızıntısı olduğu zamankinden daha fazla temizlenmiş yapılandırılmış
‫veri vardır.
‫Verileri anlamak ve bilgi için kullanmak çok daha kolay.
‫Artık bir veri bilimci olarak veri ambarındaki verileri kullanabilirsiniz.
‫Ve bu sadece bir kural değildir, genellikle sizin için kullanılabilir olan her türlü veriyi kullanırsınız.
‫Ancak bu, bir veri bilimcinin kullanabildiği kadar çok veriyi, kullanabildiği kadar çok yararlı veriyi kullanması hakkında
‫düşünmek için iyi bir yoldur.
‫İş zekası uzmanı ya da veri analisti gibi biri, verileri bir veri mühendisi tarafından zaten temizlemiş
‫ve verileri analiz etmek için veri ambarı gibi bir şey kullanmıştır.
‫Google'ın büyük sorgusu da tam olarak bu.
‫Çok fazla mühendislik deneyimi veya programlama deneyimi olmayan birinin bu verileri bir veri
‫ambarında analiz etmesine olanak tanır.
‫Bunu düşünmenin bir başka yolu da şudur: genellikle bir yazılım mühendisi, bir yazılım geliştiricisi, uygulama geliştiricisi,
‫mobil geliştirici, kullanıcıların ve müşterilerin kullandığı ve veri yayınlayan programlar ve uygulamalar oluştururlar.
‫Daha sonra bir veri mühendisi, verileri almamız ve Hadoop, Google, BigQuery gibi farklı hizmetlerde depolamamız için bu boru hattını ve
‫boru hattını oluşturur, böylece bu verilere işletmenin geri kalanı tarafından erişilebilir.
‫Daha sonra, veri gölünü kullanan veri bilimcilerin yanı sıra bilgi çıkarmak ve bir tür iş değeri sunmak için
‫veri bilimcilerimiz var.
‫Son olarak, yine iş değeri elde etmek için veri ambarı veya yapılandırılmış veri gibi bir şeyi kullanmak üzere
‫veri analistlerimiz veya iş zekamız var.
‫Umarım bu, sektördeki tüm bu başlıkları duyduğunuzda resmi biraz olsun netleştirir.
‫Şimdi, sektör hızla gelişiyor ve kesinlikle bazı çakışmalar var.
‫Ve bazen bir iş tanımının söylediği şey diğerinden farklı olabilir.
‫Ancak bunlar, her bir rolün bir şirketin parçası olarak nasıl oynadığını anlamak için kullanabileceğiniz genel, basitleştirilmiş
‫kurallardır.