‫Apache SparkとApache Flinkについて説明します｡
‫Apache Spark以前は､ HadoopやMapReduceを使ってすべてを処理していたんですね｡
‫Sparkが登場し､ インメモリ処理というものを行うことで､ MapReduceとHadoopを実際に改善し､
‫SparkはMapReduceよりもずっとずっと速く処理ジョブを実行することができるようになりました｡
‫Apache Sparkは､ バッチ処理のフレームワークとして非常に人気があります｡
‫ですから､ 大量のデータを処理したい場合は､ Hadoopを使ってそのデータデータをHDFSに保存し､ Apache Sparkを使ってそのデータをクリーニングして変換するETLジョブ､
‫extract, transform, loadを実行すればいいわけです｡
‫今まではバッチ処理で､ データの塊を渡せば､ そのデータを少しずつ処理することができました｡
‫通常､ 夜が明けたらバッチ処理のジョブを実行し､ 数時間後の朝にはジョブが終了しているはずです｡
‫しかし､ 数年前の時点では､ リアルタイム処理の考え方は始まっていました｡
‫スパークストリーミングのようなものが出てきて､ リアルタイム処理がほぼ可能になった｡
‫つまり､ 夜が明けるのを待って､ 大量のデータに対して何らかのジョブを実行するバッチ処理の代わりに､ このような処理を行うのです｡
‫その代わり､ データが入ってくるたびに､ このスペースでそのデータを処理するのです｡
‫Apache Flinkは､ まさにその任に当たったのです｡
‫リアルタイムのストリーム処理を実現します｡
‫今はまだSparkが人気ですが､ Apache Flinkのようなツールも今人気が出始めています｡
‫このストリーミングデータとストリーム処理という考え方は､ ますます一般的になってきています｡
‫まだ新しいですが､ この風景にはエキサイティングなことが起こっています｡
‫では､ 次のビデオでその話をしましょう｡