‫Mari selesaikan ikhtisar tingkat tinggi ini tentang apa yang dilakukan oleh seorang insinyur data dengan menjelaskan tiga tugas utama yang mereka
‫lakukan.
‫Salah satunya adalah bahwa mereka membangun apa yang kita sebut pipa et al.
‫Atau ekstrak pipa beban transformasi.
‫Jadi tidak seperti penyerapan data, yang berarti memindahkan data dari satu tempat ke tempat lain dan jalurnya adalah
‫gagasan bahwa seorang insinyur data mengekstrak data yang telah dihasilkan oleh semua sistem ini.
‫Mereka mengekstrak data itu dan kemudian ketika mereka mengekstrak data itu, mereka berubah.
‫Data menjadi bentuk yang berguna yaitu ke dalam bentuk yang dapat dimuat ke dalam gudang data, sehingga mereka mengekstrak
‫data, mereka mengubah data dan mereka memuatnya menjadi sesuatu seperti gudang data sehingga data dapat digunakan
‫oleh yang lain. dari perusahaan.
‫Dan mereka menggunakan bahasa pemrograman seperti Python, Go Skalla dan Java untuk menyelesaikan pekerjaan ETEL ini atau
‫mengekstrak, mengubah beban.
‫Jadi itu pertanyaan pertama, apa yang kedua?
‫Yang kedua adalah membangun alat analisis.
‫Anda melihat agar kami memahami cara kerja sistem perusahaan kami, seorang insinyur data perlu memastikan bahwa ketika ada bagian
‫dari sistem yang rusak, kami akan diberi tahu.
‫Jadi seorang insinyur data memungkinkan ilmuwan data, analis data, orang intelijen bisnis untuk menggunakan
‫alat untuk menganalisis data, tetapi juga untuk memastikan bahwa sistem yang mereka tempatkan berjalan dengan benar.
‫Akhirnya, tugas utama ketiga mereka jelas untuk memelihara gudang data dan danau data yang memastikan bahwa segala sesuatu
‫di sana dapat diakses oleh bagian lain dari perusahaan untuk digunakan.
‫Jadi sekarang kita memiliki gambaran tingkat tinggi tentang apa yang dilakukan oleh seorang insinyur data.
‫Saya ingin berbicara tentang beberapa alat yang pasti pernah Anda dengar
‫di industri, hal-hal seperti Hadoop, Kafka, Apache, Spark, semua istilah ini yang sangat sulit dipahami.
‫Saya akan mencoba memberi Anda gambaran umum tentang lanskap ini sehingga lain kali ketika seseorang meminta Anda membenci,
‫haruskah kita menggunakan Hadoop?
‫Hei, untuk apa Hadoop?
‫Apa yang kita butuhkan?
‫Kafka, Anda akan bisa menjawabnya.
‫Dan setelah kursus ini, Anda dapat pergi sendiri dan benar-benar belajar menggunakan alat-alat ini jika mereka pernah menemukan
‫dalam pekerjaan Anda.
‫Sekarang, lanskap ini cepat berubah.
‫Ada alat baru bermunculan di kiri, kanan dan tengah.
‫Jadi saran saya untuk Anda adalah bahwa apa yang akan saya tunjukkan kepada
‫Anda selama beberapa video berikutnya yang tidak Anda anggap mutlak harus diketahui oleh semua insinyur data, alih-alih tahu bahwa mereka
‫ada, buka dan baca beberapa dokumentasi mereka, beberapa informasi online, tetapi hanya mempelajari atau menggunakannya setelah diperlukan
‫karena informasi tersebut terus diperbarui.
‫Dan dunia rekayasa data sangat cepat saat ini.
‫Tapi dengan itu, jangan ragukan data di beberapa video berikutnya.