分散処理まとめ - たくろぐ！

Apache Hadoop

以下の4つのモジュールにて構成されている。
- Hadoop Common
- Hadoop Distributed File System (HDFS)
- Hadoop YARN
- Hadoop MapReduce

クラスタのリソース管理、ジョブスケジューリング

プログラミングモデル。
YARN上で動作する。
Mapステップでマスターノードが複数のワーカーノードに処理を任せて、Reduceステップでそれらを集約する。

以前はサーバに保存されたログデータを定期的にまとめてログ収集サーバに送って保管してた。
それをfluentdではデータを収集するのにインプットプラグイン、データを保持・移動するときにバッファプラグイン、データを出力するのにアウトプットプラグインを用いてデータを管理する。

Fluentdは、米Treasure Data社が中心となり、「Log everything in JSON」を掲げ、すべてのログをJSONとして扱うことを目的として、オープンソースとして開発されているログ収集管理ツール(ログコレクタデーモン)です。Rubyで実装されています。