‫Selamat datang kembali.
‫Jadi, kami belajar bahwa sebagai insinyur data, Anda mengumpulkan data, menyerap data, dan kemudian menyimpannya di data lake,
‫sering kali di klaster Hadoop.
‫Sekarang, ide kebocoran data ini juga dapat digunakan dengan sesuatu seperti AYSO, S3 Object Storage.
‫Nah, itulah dua yang paling populer.
‫Dan kemudian begitu mereka berada di data lake Anda, Anda biasanya dapat menjalankan pekerjaan batch pada data ini untuk membersihkannya
‫atau memodifikasinya atau bertengkar dengan beberapa cara.
‫Jadi Hadoop memungkinkan kami melakukannya dengan produksi massal, kami dapat menggunakan Apache Spark, Anda dapat menulis skrip
‫secara manual di Amazon S3 atau Anda bahkan dapat melakukan pekerjaan terbaik dengan database com seperti menanyakan semua database.
‫Tetapi ide pemrosesan aliran ini sekarang menjadi semakin populer.
‫Alih-alih memproses data hanya menggunakan pekerjaan batch, katakanlah setiap jam atau setiap hari, sekarang ada gerakan
‫menuju gagasan pemrosesan aliran waktu nyata ini.
‫Artinya, saat data diterima, langsung diproses alih-alih menunggu sebentar sampai kita bisa melakukan batch
‫sekaligus.
‫Ini memungkinkan kami untuk memiliki reaksi yang lebih cepat terhadap data.
‫Sekarang, ide pemrosesan aliran ini cukup rumit, tetapi salah satu alat utama yang digunakan
‫saat ini untuk pemrosesan aliran adalah sesuatu yang disebut Kafka.
‫Kafka, jika kita melihat di situs web mereka, adalah platform streaming terdistribusi.
‫Hal ini memungkinkan kita untuk membaca dan menulis aliran data seperti sistem pesan.
‫Ini memungkinkan kami untuk memproses dan memungkinkan kami untuk menyimpan data juga.
‫Tapi seperti yang Anda lihat apa yang dilakukan Kafka, ini memungkinkan kita menerima pesan dan menyebarkannya ke tempat yang berbeda.
‫Jadi mengapa Anda sering melihat adalah kami menggunakan Apache, Kafka untuk menerima semua pesan, log, dan data
‫ini dari semua sumber ini, kami mengumpulkannya di lokasi pusat, dan kemudian Kafka dapat meneruskannya ke lokasi yang
‫berbeda.
‫Misalnya, kita dapat meneruskan apa pun yang diterima Kafka ke cluster Hadoop untuk menyimpan data itu.
‫Dan mungkin jika kita ingin menggunakan Apache Spark untuk memproses data itu menjadi gudang data.
‫Tapi sekarang, dengan ide pemrosesan waktu nyata, Kafka memungkinkan kita untuk meneruskan sesuatu ke dinding itu sendiri, atau kita dapat
‫menggunakan sesuatu seperti Spark Streaming atau Flink, yang kita bicarakan, Apache Flink, yang lebih
‫banyak digunakan untuk pemrosesan aliran atau Apache Storm atau bahkan Kinesis oleh Amazon, yang sebenarnya juga dapat ditempatkan seperti
‫Kafka di sini untuk menangani semua pesan ini dari semua lokasi ini.
‫Sekarang, pada akhirnya, semua ini mungkin membingungkan.
‫Anda mungkin kewalahan dengan semua alat yang tersedia.
‫Tapi ingat apa yang saya katakan di awal bagian ini, seorang insinyur data adalah seseorang yang
‫akan berinteraksi dengan Anda sebagai ilmuwan data.
‫Jadi ada baiknya untuk mengetahui apa yang mereka lakukan, apa peran mereka, apa tanggung jawab mereka.
‫Dan Anda akan bekerja sama dengan mereka agar data tersedia untuk melakukan analisis atau membangun model
‫pembelajaran mesin.
‫Tapi saya harap diagram ini sekarang masuk akal.
‫Seorang insinyur data membuat lanskap ini untuk Anda di mana mereka menyerap data melalui Kafka menyimpan informasi menggunakan
‫sesuatu seperti Hadoop atau Amazon S3.
‫Mereka memproses data itu menggunakan sesuatu seperti Apache Spark atau Kinesis.
‫Dan kemudian mereka bahkan menyimpan data di gudang data, sehingga alat seperti Redshift atau Becherer dapat digunakan oleh
‫orang-orang di dalam bisnis untuk mempelajari sesuatu yang berguna dari data tersebut.
‫Mereka membangun struktur bagi Anda untuk berkembang.
‫Jadi bersikap baiklah kepada mereka.
‫Dan jika Anda pernah tertarik dengan salah satu teknologi ini, mereka berubah sangat cepat.
‫Tapi mereka pasti layak untuk dilihat dan mereka tidak menakutkan untuk dipelajari seperti yang Anda kira.
‫Aku akan melihat di yang berikutnya.
‫Selamat tinggal.