Hadoop

Hadoopクラスタ on AWSの俺々ベストプラクティス(2014年10月時点)

VPCを使って固定IPを振り、ホスト指定は基本的にIPで行う DNS名はAWSデフォルトから変えない(逆引き対策) クラスタ用にサブネットを切り、サブネット内は通信フリーにする(ポート開放の運用負荷軽減のため) サブネット内にはVPNでアクセスできるようにする(…

Hadoop Conference Japan 2014参加レポート

最近Apache Spark関連のお仕事をしているので、2014/7/7に開催されたHadoop Conference Japan 2014に参加してきました。 Hadoopユーザー会主催、リクルートテクノロジーズ後援で、今回で5回目だそうです。 イベント概要&資料/Ustream公開 当日のタイムテー…