Lazybonesとは? Lazybonesはプロジェクトテンプレートからプロジェクトのひな形を自動作成するツールです。 pledbrook/lazybones Railsのscaffoldや、Mavenのarchetype:generateに近いメージですが、特定のフレームワークやビルドツールに依存しない汎用的な…

このエントリは G*Advent Calendar(Groovy,Grails,Gradle,Spock...) Advent Calendar 2014 - Qiita の12/20担当分です。 Apache Sparkとは? Hadoopエコシステムにおける次世代の分散処理基盤として注目されています。インメモリ処理とDAGによるタスクスケジ…

このエントリは G*Advent Calendar(Groovy,Grails,Gradle,Spock...) Advent Calendar 2014 - Qiita の12/13担当分です。 AWS SDK for Javaとは? パブリッククラウドサービスであるAmazon Web ServicesにはWebAPIが提供されていますが、生のAPIでは使いにくい…

このエントリは G*Advent Calendar(Groovy,Grails,Gradle,Spock...) Advent Calendar 2014 - Qiita の12/8担当分です。 Gradle Groovy Shellプラグインとは? Groovyには"groovysh"(Groovy Shell)という機能があります。これはGroovyのインタラクティブシェル…

このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの12/6担当分です。 CDH5対応のSparkバイナリはどこに? Sparkアプリケーションの開発を行っていると「Hadoopクラスタに接続してxxする」というケースがあると思います。いちいちアプリ…

このエントリは「Web API Advent Calendar 2014」の12/3担当です。次は「YosAwed」さんです。最近話題のDockerですが、みなさんもう使ってますよね?Dockerはクライアント-サーバーアーキテクチャを採用しており、DockerクライアントとDockerサーバーがRemote…

dockerで大きめのイメージをpushしようとすると、ネットワークの状態によってはハングして止まったりします。 Ctrl+Cで中断して再度 docker push を行うと、 2014/11/28 13:14:21 Error: push nobusue/kafka is already in progressという感じでエラーになり…

Boot2Docker経由でDockerを利用する場合、dockerコマンドにDockerホストの接続先や証明書のパスなどを教えてやるために環境変数を設定する必要があります。 設定すべき内容は「boot2docker shellinit」コマンドで確認できます。 $ boot2docker shellinit Wri…

VPCを使って固定IPを振り、ホスト指定は基本的にIPで行う DNS名はAWSデフォルトから変えない(逆引き対策) クラスタ用にサブネットを切り、サブネット内は通信フリーにする(ポート開放の運用負荷軽減のため) サブネット内にはVPNでアクセスできるようにする(…

最近Apache Spark関連のお仕事をしているので、2014/7/7に開催されたHadoop Conference Japan 2014に参加してきました。 Hadoopユーザー会主催、リクルートテクノロジーズ後援で、今回で５回目だそうです。 イベント概要＆資料/Ustream公開 当日のタイムテー…