‫Oke, jadi di video sebelumnya, kami memahami bahwa seorang insinyur data pada dasarnya membuat saluran data ini
‫untuk kami, agar orang-orang seperti ilmuwan data memiliki data yang tersedia untuk dikerjakan.
‫Tapi saya ingin menggunakan contoh yang berbeda.
‫Anggap saja Keiko Corp memiliki kebutuhan dan kebutuhan itu adalah air, karyawan membutuhkan air.
‫Untuk bekerja keras, bukan?
‫Jadi mari kita anggap ini sebagai masalah yang dipecahkan oleh seorang insinyur data.
‫Sekarang tahan dengan saya.
‫Kita akan berbicara tentang air selama beberapa menit, tapi saya berjanji ini berhubungan dengan data.
‫Soalnya, hal pertama bagi kita untuk mendapatkan air adalah curah hujan.
‫Kami butuh hujan.
‫Dan ini mirip dengan sumber data yang kami miliki.
‫Itu adalah situs web, ponsel, kamera, mobil, drone.
‫Semua ini adalah pengumpulan data.
‫Demikianlah apa yang dimaksud dengan rintik hujan.
‫Jadi untuk mendapatkan air untuk karyawan kami, kami harus mendapatkan air dari suatu tempat.
‫Dan air itu berasal dari hujan.
‫Selanjutnya, air itu dikumpulkan di dua aliran berbeda dan sungai dari semua tempat, langsung dari seluruh dunia,
‫seperti data dari semua tempat berbeda, aliran air ini mulai terbentuk.
‫Dan apa yang terjadi selanjutnya?
‫Nah, aliran air ini berubah menjadi danau.
‫Mereka semua mengalir ke semacam danau.
‫Dan danau itu tidak bergerak.
‫Tapi sekali lagi, kami Kako Korp, hanya ingin air dari karyawan.
‫Jelas, kita memiliki bendungan di danau dan bendungan di danau atau sistem untuk menggunakan danau itu.
‫Nah, kami mengangkut air itu ke sesuatu seperti area sanitasi filtrasi sehingga kami bisa membersihkan
‫airnya, mensterilkannya sehingga aman untuk diminum orang.
‫Jadi kami mengolah air yang sudah terkumpul.
‫Dan akhirnya, setelah semua itu, kami membuat semua perpipaan dan pipa untuk kami kirimkan air ke Kako
‫Corp..
‫Begitulah cara kami memenuhi kebutuhan Chaco Corp. untuk menyediakan air bagi karyawan mereka, dan beginilah
‫cara kerja data dan inilah yang dibangun oleh seorang insinyur data, seorang insinyur data memulai dengan apa
‫yang kami sebut penyerapan data yang memperoleh data dari berbagai sumber.
‫Dan kami memperoleh semua sumber data yang berbeda ini dan mencernanya.
‫Ke dalam apa yang kami sebut danau data, danau data adalah kumpulan dari semua data ini ke dalam satu lokasi.
‫Dari sana kita bisa saja meninggalkan danau apa adanya.
‫Tapi ada masalah.
‫Kami tidak ingin danau meluap hingga mengering.
‫Kita perlu mengelola danau ini entah bagaimana.
‫Kami tidak ingin membanjiri desa.
‫Kami membutuhkan bendungan.
‫Kami membutuhkan pipa ke rumah-rumah.
‫Kami perlu menyaring dan membersihkan air dan kami membutuhkan pipa ke rumah-rumah.
‫Jadi setelah kami mencerna data ini dari berbagai sumber, kami mengumpulkannya di data lake.
‫Kami kemudian melakukan sesuatu yang disebut transformasi data yang mengubah data dari satu format ke format lainnya, biasanya
‫menjadi sesuatu yang kami sebut gudang data.
‫Sebuah gudang data adalah tempat yang menyimpan data yang dapat diakses yang berguna untuk bisnis.
‫Artinya, meskipun danau mengumpulkan begitu banyak air, begitu banyak data yang tersebar di semua tempat.
‫Seorang insinyur data melihat data ini dan membentuk atau menggunakan bagian data yang berguna dan meletakkannya di
‫gudang data sehingga bagian lain dari bisnis dapat menggunakannya lagi.
‫Cara yang baik untuk memikirkannya adalah bahwa data lake adalah kumpulan data mentah.
‫Tujuan yang kita masih belum tahu apa yang harus dilakukan di gudang data adalah lokasi untuk data
‫terstruktur, terfilter yang telah diproses dan memiliki tujuan tertentu.
‫Artinya, kami memiliki data di sini yang berguna untuk bisnis.
‫Jadi itu berarti bahwa data lake biasanya kurang terorganisir dan memiliki lebih sedikit penyaringan data daripada sesuatu seperti
‫gudang data.
‫Sekarang, mengapa bisnis ingin melakukan itu?
‫Salah satunya, menganalisis data jauh lebih mudah jika diatur.
‫Yah, kita juga mungkin memiliki data di sini yang sebenarnya tidak kita butuhkan.
‫Kami juga menghemat ruang penyimpanan.
‫Benar, karena kita tidak harus menyimpan semua data ini dan hanya menyimpan data terstruktur yang hanya berguna
‫bagi kita.
‫Kami juga menghemat uang.
‫Jadi, untuk meninjau seorang insinyur data, cukup buat saluran ini untuk mengambil pembuatan data dan
‫pengambilan data menggunakan praktik rekayasa data untuk membangun saluran ini sehingga data sekarang dapat dianalisis oleh ilmuwan data dan
‫analis data.
‫Tapi kami masih memiliki sedikit lagi untuk pergi.
‫Jadi sampai jumpa di video selanjutnya.