‫OK, OK, jadi apa yang sebenarnya dilakukan oleh seorang insinyur data?
‫Mari kita mulai dengan tiga kata besar yang perlu kita pahami sebelum kita benar-benar memahami apa yang dilakukan oleh
‫seorang insinyur data.
‫Ya, saya tahu saya terus berputar-putar di sekitar insinyur data dan saya terus membuat Anda bersemangat, tapi saya berjanji kita
‫akan sangat, sangat dekat.
‫Kita hanya perlu membahas tiga perang ini yang mungkin pernah atau mungkin belum pernah Anda dengar.
‫Salah satunya adalah penambangan data dan penambangan data berarti pra-pemrosesan dan mengekstraksi beberapa pengetahuan dari data.
‫Jadi kami menggunakan semacam data untuk mengekstrak pengetahuan dari apa itu data mining.
‫Data besar.
‫Nah, itu berarti kita memiliki banyak data, banyak variabel, begitu banyak data, pada kenyataannya,
‫Anda tidak dapat berjalan di laptop Anda dan ada terlalu banyak data untuk disimpan di laptop atau komputer Anda.
‫Biasanya ketika kita berbicara tentang data besar, itu adalah data yang sangat besar sehingga Anda harus menjalankannya di
‫komputasi awan atau beberapa komputer seperti W. S. Azure dan Google cloud, karena mereka memiliki banyak komputer dan
‫banyak penyimpanan untuk menyimpan data ini.
‫Jadi itulah yang dimiliki Big Data.
‫Big data adalah data yang biasanya tidak bisa Anda miliki hanya dalam satu komputer.
‫Ini biasanya terjadi karena, yah, kumpulan data menjadi sangat besar sehingga kami memiliki petabyte dan petabyte data sekarang.
‫Jadi hanya memiliki data dalam database seperti sekolah saya atau PostgreSQL atau database jenis apa pun menjadi sangat sulit ketika
‫database itu hanya satu mesin tunggal.
‫Sekarang, teknologi baru diciptakan untuk memecahkan masalah data besar ini seperti Hadoop dan NQ, semua yang akan kita
‫bicarakan.
‫Sekarang, saluran data pada dasarnya adalah saluran yang dibangun oleh seorang insinyur data untuk menggunakan fakta bahwa kami memiliki data
‫dalam jumlah besar ini, kami perlu mengekstrak informasi dari data ini menggunakan penambangan data.
‫Jadi kita perlu membawa atau membangun saluran yang memungkinkan kita mengalir dari sejumlah besar data yang tidak diketahui
‫itu ke saluran yang mengekstrak dan data ke bentuk yang lebih berguna.
‫Jadi seorang insinyur data pada dasarnya melakukan ini menciptakan saluran data di mana semua informasi dari perangkat
‫yang berbeda seperti perangkat Iot, aplikasi seluler, aplikasi web, kamera, mobil, dan hampir semua hal
‫yang mengumpulkan data dan menyimpan informasi atau mencatat data ke server atau ke cloud
‫, seorang insinyur data pada dasarnya mengumpulkan semua informasi ini ke dalam database yang dikemas dengan baik dan menyimpan
‫mesin sehingga berbagai bagian perusahaan dapat membuat visualisasi.
‫Mereka dapat memantau kinerja produk mereka.
‫Mereka bisa mendapatkan wawasan bisnis dan membuat keputusan bisnis dari data ini dan bahkan menggunakan data ini di aplikasi
‫mereka.
‫Misalnya, untuk profil pengguna sebelum ilmuwan data atau pakar pembelajaran mesin atau bahkan
‫intelijen bisnis atau analis data dipekerjakan untuk perusahaan besar.
‫Hal yang perlu mereka lakukan sebelum semua itu dapat dilakukan adalah menyewa seorang insinyur data.
‫Mereka membangun saluran yang memungkinkan kami bekerja sebagai ilmuwan data.
‫Ingat diagram ini dan bagaimana kita berfokus pada bagian ini.
‫Nah, seorang insinyur data mengizinkan kita untuk melakukan bagian pengumpulan data ini.
‫Mereka membawa semua informasi ini, mengaturnya sedemikian rupa bagi kami untuk melakukan pemodelan data kami.
‫Mereka sangat membantu kami dengan bagian pengumpulan data ini yang biasanya sebagai insinyur pembelajaran mesin atau ilmuwan
‫data, Anda tidak perlu terlalu khawatir.
‫Tapi Anda tahu apa?
‫Demonstrasi favorit saya tentang apa itu insinyur data, ada di video berikutnya.
‫Saya harap Anda bersemangat karena segala sesuatunya akan mulai menjadi lebih masuk akal.
‫Sampai jumpa di yang itu.
‫Sampai jumpa.