‫Mari kita bicara tentang Hadoop, sehingga ketika perusahaan mulai menghasilkan lebih banyak data, database
‫kami yang kami miliki, seperti MySQL, menjadi terlalu tidak efisien atau tidak mampu menampung data dalam jumlah besar, dan
‫Hadoop menjadi landasan rekayasa data.
‫Anda lihat, Hadoop adalah kerangka kerja pemrosesan terdistribusi open source.
‫Ini memungkinkan kita untuk melakukan pemrosesan dan penyimpanan data untuk data besar.
‫Dan itu sebenarnya dikembangkan oleh Yahoo!
‫Kembali pada hari itu dan kemudian disumbangkan ke Apache Software Foundation.
‫Hadoop sangat populer ketika kegilaan data besar dimulai, Hadoop adalah solusi yang memungkinkan semua perusahaan
‫dengan petabyte data untuk menyimpan informasi ini di Hadoop.
‫Sekarang, Hadoop pada dasarnya adalah kebocoran data, bukan?
‫Ini adalah solusi data lake.
‫Hal ini memungkinkan kita untuk hanya menyimpan semua data ini untuk kita.
‫Tapi popularitas Hadoop adalah karena dua hal besar.
‫Salah satunya adalah HDFC, yaitu sistem file terdistribusi Hadoop.
‫Hadoop dapat menyimpan begitu banyak data karena ini, sistem file seperti yang Anda miliki di komputer Anda
‫yang memungkinkannya menyimpan file di banyak komputer.
‫Artinya, kita dapat menggunakan Hadoop di banyak komputer untuk menyimpan data sebanyak yang kita inginkan.
‫Itu terukur.
‫Kita bisa meningkatkan.
‫Jadi data disimpan di komputer fisik yang berbeda.
‫Kemudian peta dikurangi karena begitu kita menyimpan data, kita perlu melakukan beberapa pekerjaan, beberapa pemrosesan pada data itu,
‫kan.
‫Dan pengurangan peta dan Hadoop memungkinkan kami melakukan pekerjaan terhadap data yang kami miliki di danau data ini menggunakan bahasa
‫seperti Java atau Python.
‫Anda dapat menggunakan Map, Reduce, dan Hadoop untuk melakukan apa yang kami sebut pemrosesan batch.
‫Artinya, setiap malam kita bisa menjalankan semacam pekerjaan untuk membersihkan data kita, mengolah data kita dan
‫membuatnya berguna bagi perusahaan.
‫Sekarang, Pengurangan Peta tidak digunakan sesering yang akan kita lihat nanti di video, karena kami memiliki sesuatu yang disebut Apache
‫Spark yang sebenarnya sedikit lebih cepat, tetapi kami akan membahasnya.
‫Idenya di sini adalah bahwa kami akhirnya memiliki alat dengan Hadoop yang memungkinkan kami
‫untuk menyimpan banyak data di beberapa mesin menggunakan akses dan menjalankan pekerjaan batch, menggunakan produksi massal pada kumpulan data yang besar ini.
‫Dan banyak alat lain mulai bermunculan di sekitar alat Hadoop seperti Hive.
‫Omong-omong, suka logo mereka.
‫Tetap periksa itu, Hive membuat cluster Hadoop Anda.
‫Merasa seperti itu adalah database relasional.
‫Meskipun tidak, ini memungkinkan Anda untuk menggunakan Hive dan menulis kueri Eskil terhadap sistem file pertama Anda.
‫Jadi dalam arti tertentu, Anda memiliki kebocoran data Hadoop ini dan juga sedikit jenis gudang data dengan Hive
‫dengan memungkinkan Anda semua perintah pada data Anda yang diharapkan diproses menggunakan hasil peta.
‫Dan Anda mungkin belum pernah mendengar tentang Hadoop sebelumnya karena digunakan oleh para insinyur data.
‫Ingat, insinyur data biasanya tidak bekerja pada sistem yang dihadapi pelanggan.
‫Artinya, mereka tidak membangun database yang akan Anda gunakan dengan aplikasi Anda atau dengan aplikasi web.
‫Sebaliknya, mereka membangun sistem di belakang layar yang menyerap, mengumpulkan, menjalankan, pekerjaan ETL, yaitu mengekstrak,
‫mengubah, memuat data.
‫Jadi Hadoop adalah lapisan penyimpanan di balik layar yang menyimpan sejumlah besar data yang menjalankan pemrosesan batch terhadap data
‫ini sehingga kami dapat memiliki beberapa informasi yang berguna.
‫Dan Hadoop masih sangat populer dan sangat mumpuni dalam hal data besar, petabyte data.
‫Mari pelajari beberapa alat lainnya di video berikutnya.