たくろぐ!

世界一のチラ裏

2018-06-12から1日間の記事一覧

Treasure Dataで使うべきUDFってなんぞや

ログデータを分析する Treasure Data(以下TD)で分析する対象のデータは業務データよりログデータが多いのでは? - アクセス日時 - アクセス元IP - リファラー - アクセス先URL - ユーザエージェント こんなんを分析するということらしい。 もちろん、業務…

分散処理まとめ

Apache Hadoop アーキテクチャ 以下の4つのモジュールにて構成されている。 - Hadoop Common - Hadoop Distributed File System (HDFS) - Hadoop YARN - Hadoop MapReduce YARN クラスタのリソース管理、ジョブスケジューリング Hadoop Distributed File Sys…