‫让我们来谈谈Apache Spark和Apache Flink｡
‫在Apache Spark出现之前, 人们通常使用Hadoop､ MapReduce来处理一切｡
‫Spark沿着出现实际上改进了MapReduce和Hadoop,
‫它做了一种叫做内存处理的事情, 这基本上允许Spark运行处理作业的速度比MapReduce快得多｡
‫所以Apache Spark变得非常非常流行, 它可能是批处理框架的首选｡
‫因此, 如果您希望处理大量数据, 那么您可以使用Hadoop将数据存储在HDFS中, 并使用Apache
‫Spark运行ETL作业, 如提取､ 转换､ 加载, 以清理和转换数据｡
‫到目前为止, 我们使用的是批处理, 这实际上意味着给予我一大块数据,
‫我将在一段时间内处理这些数据｡
‫通常, 您会在晚上结束时运行批处理作业, 并在早上运行几个小时后, 该作业就完成了｡
‫但几年前, 真实的的想法开始出现｡
‫像火花流这样的东西出现了, 这几乎使真实的成为可能｡
‫也就是说, 与批处理不同, 批处理需要等到晚上才能对大量数据运行一些作业｡
‫相反, 每次数据进入时, 您都在此空间中处理该数据｡
‫阿帕奇·弗林克真的承担了责任｡
‫它提供真实的流处理｡
‫现在, 虽然Spark仍然很受欢迎, 但像Apache Flink这样的工具现在开始变得流行起来｡
‫这种流数据和流处理的思想正变得越来越流行｡
‫它仍然是新的, 但有一些令人兴奋的事情发生在这个景观｡
‫让我们在下一个视频中讨论这一点｡