‫มาพูดถึง Hadoop กันดีกว่า
‫เมื่อบริษัทต่างๆ เริ่มสร้างข้อมูลมากขึ้นเรื่อยๆ ฐานข้อมูลของเราที่เรามี เช่น MySQL นั้นไม่มีประสิทธิภาพหรือไม่สามารถเก็บข้อมูลจำนวนมากได้
‫และ Hadoop ก็กลายเป็นรากฐานที่สำคัญของวิศวกรรมข้อมูล
‫คุณเห็นไหมว่า Hadoop เป็นเฟรมเวิร์กการประมวลผลแบบกระจายโอเพนซอร์ส
‫ช่วยให้เราสามารถประมวลผลและจัดเก็บข้อมูลขนาดใหญ่ได้
‫และได้รับการพัฒนาโดย Yahoo!
‫ย้อนกลับไปในวันนั้นและต่อมาได้บริจาคให้กับ Apache Software Foundation
‫Hadoop กลายเป็นความโกรธเคืองเมื่อความคลั่งไคล้ข้อมูลขนาดใหญ่เริ่มต้นขึ้น
‫Hadoop เป็นโซลูชันที่อนุญาตให้บริษัทเหล่านี้ทั้งหมดที่มีข้อมูลระดับเพตะไบต์จัดเก็บข้อมูลนี้ใน
‫Hadoop
‫ตอนนี้ Hadoop นั้นเป็น data lake ใช่ไหม?
‫เป็นโซลูชันของดาต้าเลค
‫มันช่วยให้เราเก็บข้อมูลทั้งหมดนี้ไว้ให้เรา
‫แต่ความนิยมของ Hadoop นั้นเกิดจากสองสิ่งที่ยิ่งใหญ่
‫หนึ่งคือ HD FS
‫นั่นคือระบบไฟล์แบบกระจาย Hadoop
‫Hadoop สามารถจัดเก็บข้อมูลได้มากมายเนื่องจาก HDFS ซึ่งเป็นระบบไฟล์แบบเดียวกับที่คุณมีบนคอมพิวเตอร์ที่อนุญาตให้จัดเก็บไฟล์บนคอมพิวเตอร์หลายเครื่อง
‫นั่นคือ เราสามารถใช้ Hadoop บนคอมพิวเตอร์หลายเครื่องเพื่อเก็บข้อมูลได้มากเท่าที่เราต้องการ
‫มันปรับขนาดได้
‫เราสามารถขยายขนาดออก
‫ดังนั้นข้อมูลจะถูกเก็บไว้ในคอมพิวเตอร์ทางกายภาพที่แตกต่างกัน
‫ต่อมาคือ MapReduce เพราะเมื่อเราจัดเก็บข้อมูลแล้ว เราจำเป็นต้องทำงานบางอย่าง ประมวลผลกับข้อมูลนั้นบ้าง
‫ถูกต้อง.
‫และ MapReduce ใน Hadoop ทำให้เราสามารถทำงานกับข้อมูลนี้ที่เรามีใน Data Lake โดยใช้ภาษาอย่าง
‫Java หรือ Python
‫คุณสามารถใช้ MapReduce ใน Hadoop เพื่อทำสิ่งที่เราเรียกว่าการประมวลผลแบบแบตช์
‫นั่นคือ ทุกคืนเราสามารถทำงานบางอย่างเพื่อล้างข้อมูลของเรา ประมวลผลข้อมูลของเรา และทำให้เป็นประโยชน์สำหรับบริษัท
‫ตอนนี้ MapReduce ไม่ได้ใช้บ่อยเท่าที่เราจะเห็นในวิดีโออีกต่อไปเพราะเรามีบางอย่างที่เรียกว่า Apache
‫Spark ที่จริงแล้วเร็วกว่าเล็กน้อย
‫แต่เราจะไปถึงเรื่องนั้น
‫แนวคิดก็คือในที่สุดเราก็มีเครื่องมือที่มี Hadoop ที่ช่วยให้เราสามารถจัดเก็บข้อมูลจำนวนมากในหลาย
‫ๆ เครื่องโดยใช้ HDFS และงานแบตช์ Ron โดยใช้ MapReduce กับชุดข้อมูลขนาดใหญ่นี้ และเครื่องมืออื่นๆ มากมายเริ่มปรากฏขึ้นรอบๆ
‫Hadoop เครื่องมือเช่นไฮฟ์
‫ชอบโลโก้ของพวกเขา
‫ตรวจสอบออก
‫อย่างไรก็ตาม.
‫Hive สร้างคลัสเตอร์ Hadoop ของคุณ
‫รู้สึกเหมือนเป็นฐานข้อมูลเชิงสัมพันธ์
‫ทั้งที่มันไม่ใช่
‫ช่วยให้คุณใช้ Hive และเขียนข้อความค้นหา SQL กับระบบไฟล์ HDFS ของคุณได้
‫ในแง่หนึ่ง คุณมี Data Lake ของ Hadoop และประเภทของคลังข้อมูลด้วย Hive โดยอนุญาตให้ใช้คำสั่ง
‫SQL กับข้อมูลของคุณซึ่งหวังว่าจะได้รับการประมวลผลโดยใช้ MapReduce
‫และคุณอาจไม่เคยได้ยินเกี่ยวกับ Hadoop มาก่อน เพราะมันถูกใช้โดยวิศวกรข้อมูล
‫โปรดจำไว้ว่า วิศวกรข้อมูลมักไม่ทำงานในระบบที่ลูกค้าต้องเผชิญ
‫กล่าวคือ พวกเขาไม่ได้สร้างฐานข้อมูลที่คุณจะใช้กับแอปของคุณหรือกับเว็บแอป
‫แต่พวกเขาสร้างระบบเบื้องหลังที่นำเข้า รวบรวม วิ่ง ETL งาน ที่แยก
‫แปลง โหลดข้อมูล
‫ดังนั้น Hadoop ก็คือเลเยอร์การจัดเก็บข้อมูลเบื้องหลังที่จัดเก็บข้อมูลจำนวนมากที่รันการประมวลผลแบบแบตช์กับข้อมูลนี้
‫เพื่อให้เราสามารถมีข้อมูลที่เป็นประโยชน์บางอย่างได้
‫และ Hadoop ยังคงได้รับความนิยมและมีความสามารถอย่างมากเมื่อพูดถึงข้อมูลขนาดใหญ่ ข้อมูลระดับเพตะไบต์
‫มาเรียนรู้เครื่องมือเพิ่มเติมสองสามอย่างในวิดีโอหน้ากัน