‫Hadoopの話をしましょう｡
‫そのため､ 企業がより多くのデータを生成するようになると､ 私たちが持っていたMySQLなどのデータベースは､
‫効率が悪すぎたり､ 大量のデータを保持できなくなったりしました｡
‫そして､ Hadoopはデータエンジニアリングの礎となったのです｡
‫Hadoopは､ オープンソースの分散処理フレームワークですよね｡
‫ビッグデータに対するデータ処理とストレージを行うことができるのです｡
‫そして､ 実際に開発したのは､ Yahoo!
‫当時､ そしてその後､ Apache Software Foundationに寄付されました｡
‫Hadoopは､ ビッグデータ・ブームが始まったときに大流行しました｡
‫Hadoopは､ ペタバイト級のデータを持つこれらすべての企業が､ これらの情報をHadoopに保存できるようにするソリューションでした｡
‫さて､ Hadoopは基本的にデータレイクでしたね｡
‫データレイクソリューションです｡
‫これによって､ 私たちのためにこれらのデータをすべて保存しておくだけでよいのです｡
‫しかし､ Hadoopが普及したのは､ 大きく分けて2つの要因があったからです｡
‫ひとつはHD FS｡
‫それが､ Hadoopの分散ファイルシステムです｡
‫Hadoopがこれだけのデータを保存できたのは､ このHDFSというパソコンにあるようなファイルシステムによって､
‫複数のコンピュータにファイルを保存することができたからです｡
‫つまり､ 複数のコンピュータでHadoopを使い､ 好きなだけデータを保存することができるのです｡
‫スケーラブルだった｡
‫スケールアウトすることができました｡
‫つまり､ データは異なる物理的なコンピュータにまたがって保存されているのです｡
‫そしてMapReduce｡ データを保存したら､ そのデータに対して何らかの作業や処理を行う必要があるからです｡
‫そうですね｡
‫そして､ HadoopのMapReduceによって､ データレイクにあるこのデータに対して､ JavaやPythonなどの言語を使ってジョブを実行することができるようになったのです｡
‫HadoopのMapReduceを使って､ いわゆるバッチ処理を行うことができます｡
‫つまり､ 毎晩何らかのジョブを実行して､ データをきれいにし､ データを加工して会社に役立てることができるのです｡
‫MapReduceはあまり使われなくなりました｡ この後ビデオで紹介するApache Sparkというのがあって､
‫これはちょっと速いんです｡
‫でも､ それはこれからです｡
‫HDFSを使って複数のマシンに大量のデータを保存し､ MapReduceを使ってその大量のデータを一括処理できるツールがHadoopに登場し､
‫HiveのようなHadoopツールの周辺にも多くのツールが登場するようになりました｡
‫ちなみに､ 彼らのロゴは大好きです｡
‫確認してみてください｡
‫とにかく
‫HiveはHadoopのクラスタを作る｡
‫リレーショナルデータベースのような感覚｡
‫そうでなくても､ です｡
‫Hiveを使用し､ HDFSファイルシステムに対してSQLクエリを記述することができます｡
‫つまり､ Hadoopのデータレイクと､ Hiveのデータウェアハウス的なものを､ SQLコマンドでデータ処理し､
‫MapReduceで処理する､ というようなイメージです｡
‫また､ Hadoopはデータエンジニアが使うものなので､ あまり聞いたことがないかもしれませんね｡
‫データエンジニアは通常､ 顧客と接するシステムには携わらないことを忘れないでください｡
‫つまり､ アプリやWebアプリで使うようなデータベースは作らないということです｡
‫その代わりに､ データの取り込み､ 収集､ 実行､ ETL､ つまりデータの抽出､ 変換､ 読み込みを行うシステムを舞台裏で構築するのです｡
‫Hadoopは､ 大量のデータを保存するための舞台裏のストレージレイヤーで､ このデータに対してバッチ処理を行うことで､
‫有用な情報を得ることができます｡
‫そしてHadoopは､ ペタバイト級の大容量データに関しては､ 今でも非常に人気があり､ 高い能力を発揮しています｡
‫次のビデオでは､ もう少しツールを学んでみましょう｡