‫让我们来谈谈Hadoop｡
‫因此, 随着公司开始生成越来越多的数据, 我们的数据库, 如MySQL,
‫变得效率太低, 或无法容纳大量的数据｡
‫Hadoop成为了数据工程的基石｡
‫您可以看到, Hadoop是一个开源分布式处理框架｡
‫它让我们可以对大数据进行数据处理和存储｡
‫而且它实际上是由雅虎开发的!
‫早在一天, 然后后来捐赠给阿帕奇软件基金会｡
‫当大数据热潮开始时, Hadoop风靡一时｡
‫Hadoop是一个解决方案, 它允许所有这些拥有PB级数据的公司将这些信息存储在Hadoop中｡
‫Hadoop本质上是一个数据湖, 对吧？
‫这是一个数据湖解决方案｡
‫它允许我们存储所有这些数据｡
‫但Hadoop的流行是因为两件大事｡
‫一个是HD FS｡
‫这就是Hadoop分布式文件系统｡
‫Hadoop之所以能够存储如此多的数据, 是因为HDFS, HDFS是一个文件系统, 就像你的计算机上的文件系统一样,
‫允许它在多台计算机上存储文件｡
‫也就是说, 我们可以在多台计算机上使用Hadoop来存储我们想要的数据｡
‫它是可扩展的｡
‫我们可以向外扩展｡
‫因此, 数据存储在不同的物理计算机上｡
‫然后是MapReduce, 因为一旦我们存储了数据, 我们就需要执行一些作业, 对数据进行一些处理｡
‫好吧, 我知道了
‫Hadoop中的MapReduce允许我们使用Java或Python等语言对数据湖中的数据执行作业｡
‫您可以在Hadoop中使用MapReduce来执行我们称之为批处理的操作｡
‫也就是说, 每天晚上我们都可以运行某种作业来清理我们的数据, 处理我们的数据, 使其对公司有用｡
‫现在, MapReduce不再像我们在后面的视频中看到的那样经常使用, 因为我们有一个叫做Apache Spark的东西,
‫它实际上更快一些｡
‫但我们会谈到这个的｡
‫这里的想法是, 我们终于有了一个Hadoop工具,
‫它允许我们使用HDFS跨多台机器存储大量数据, 并使用MapReduce对这些大型数据集执行罗恩批处理作业, 而且围绕Hadoop工具出现了许多其他工具,
‫如Hive｡
‫顺便说一句, 喜欢他们的标志｡
‫你看
‫不管怎么说｡
‫Hive可创建Hadoop集群｡
‫感觉像是一个关系数据库｡
‫即使它不是｡
‫它允许您使用配置单元并针对HDFS文件系统编写SQL查询｡
‫因此, 从某种意义上说, 您可以使用Hadoop的数据湖,
‫还可以使用Hive的数据仓库类型, 允许对希望使用MapReduce处理的数据执行SQL命令｡
‫您以前可能没有听说过Hadoop, 因为数据工程师使用它｡
‫请记住, 数据工程师通常不处理面向客户的系统｡
‫也就是说, 它们不会构建您将在应用程序或web应用程序中使用的数据库｡
‫相反, 他们在后台构建系统, 以接收､ 收集､ 运行ETL作业, 即提取､
‫转换和加载数据｡
‫Hadoop是一个后台存储层, 用于存储大量数据, 并对这些数据运行批处理,
‫以便我们能够获得一些有用的信息｡
‫Hadoop仍然非常受欢迎, 在处理大数据（PB级数据）方面也非常强大｡
‫让我们在下一个视频中了解更多工具｡