‫Selamat datang kembali.
‫Jadi kami baru saja membahas seluruh alur tentang bagaimana data digunakan oleh perusahaan.
‫Tetapi ada beberapa hal lagi yang ingin saya bicarakan, karena saat ini kita baru saja
‫berbicara tentang air dan bagaimana penerapannya?
‫Alat seperti apa yang sebenarnya digunakan oleh para insinyur data?
‫Nah, Anda mungkin pernah mendengar sesuatu seperti.
‫Kafka, dan kita akan sampai ke Kafka nanti, tetapi sesuatu seperti mengumpulkan aliran data ini dan memasukkannya ke dalam
‫danau data.
‫Mungkin sesuatu yang Kafka atau Apache Kafka lakukan untuk Data Lakes, misalnya, ini hanyalah
‫program yang dapat digunakan perusahaan.
‫Misalnya, Anda mungkin pernah mendengar tentang Hadoop atau Amazon S3 atau Azure Datalink.
‫Ini adalah program yang dibuat oleh para insinyur untuk menampung data dalam jumlah besar seperti harian.
‫Kemudian untuk gudang data, kami memiliki alat seperti Google Bakery, Amazon Redshift, bahkan Amazon,
‫Athena, ini adalah gudang data yang memungkinkan para insinyur membuat kueri atau menganalisis data terstruktur ini.
‫Sekarang, saya tahu apa yang Anda pikirkan, siapa yang melakukan apa di seluruh sistem ini?
‫Kami telah belajar bahwa insinyur data menciptakan seluruh sistem ini untuk kami.
‫Mereka menggunakan alat dan program yang berbeda untuk menyerap data dan kemudian memasukkannya ke dalam danau data atau gudang data.
‫Jadi sebagai ilmuwan data dan pakar pembelajaran mesin, data mana yang Anda gunakan?
‫Jeda video dan pikirkan.
‫Siap untuk jawabannya?
‫Nah, sebagian besar waktu, Anda akan bekerja dengan data lake.
‫Karena ingat, jika Anda melakukan pembelajaran mesin, semakin banyak data yang Anda miliki, semakin baik.
‫Benar.
‫Dan dengan pembelajaran mesin, Anda dapat menggunakan data terstruktur atau tidak terstruktur.
‫Jadi Anda bisa masuk ke data lake dan benar-benar mengambil banyak data untuk digunakan untuk model Anda, baik dalam
‫bentuk CSV atau bentuk lainnya.
‫Dan biasanya gudang data digunakan oleh makhluk atau orang intelijen bisnis atau analis bisnis atau analis
‫data untuk membuat visualisasi atau menganalisis data, karena gudang data biasanya memiliki lebih banyak data terstruktur yang
‫telah dibersihkan daripada saat masih berupa danau data.
‫Jauh lebih mudah untuk memahami dan menggunakan data untuk informasi.
‫Sekarang, sebagai ilmuwan data, Anda dapat menggunakan data dari gudang data.
‫Dan ini bukan hanya aturan.
‫Biasanya Anda menggunakan data apa pun yang dapat digunakan untuk Anda.
‫Tapi ini adalah cara yang baik untuk memikirkan hal-hal yang seorang ilmuwan data menggunakan data
‫sebanyak yang mereka bisa, sebanyak mungkin data yang berguna, sementara seseorang seperti orang intelijen
‫bisnis atau analis data telah membersihkan datanya, diproses oleh insinyur data dan menggunakan sesuatu seperti gudang data untuk
‫menganalisis data.
‫Dan permintaan besar Google adalah persis seperti itu dan memungkinkan seseorang yang tidak memiliki
‫banyak pengalaman teknik atau pengalaman pemrograman untuk menganalisis data ini di gudang data.
‫Cara lain untuk memikirkannya adalah seperti ini.
‫Biasanya seorang insinyur perangkat lunak, pengembang perangkat lunak, pengembang aplikasi, pengembang seluler, mereka membangun program dan
‫aplikasi yang digunakan pengguna dan pelanggan dan yang merilis data.
‫Kemudian seorang insinyur data akan membangun perpipaan dan saluran ini agar kami dapat menyerap data dan menyimpannya di berbagai layanan
‫seperti Hadoop, seperti Google Bakery, sehingga data tersebut dapat diakses oleh bisnis lainnya.
‫Selanjutnya, kami memiliki data scientist yang menggunakan data lake serta data scientist untuk mengekstrak informasi dan
‫memberikan semacam nilai bisnis.
‫Terakhir, kami memiliki analis data atau intelijen bisnis untuk menggunakan sesuatu seperti gudang data atau data terstruktur untuk
‫mendapatkan kembali nilai bisnis, dan saya harap itu sedikit memperjelas gambaran ketika Anda mendengar semua
‫judul ini di industri.
‫Sekarang, industri ini berkembang pesat dan pasti ada beberapa tumpang tindih dan kadang-kadang apa yang dikatakan oleh satu deskripsi pekerjaan
‫mungkin berbeda dari yang lain.
‫Tetapi ini adalah aturan umum yang disederhanakan yang dapat Anda gunakan untuk memahami bagaimana setiap peran berperan menjadi bagian dari
‫sebuah perusahaan.