HBase徹底入門はCloudera Managerユーザーの必読書

仕事でOpenTSDBを使っていることもあり、HBase徹底入門を購入しました。HBase徹底入門 Hadoopクラスタによる高速データベースの実現作者: 株式会社サイバーエージェント鈴木俊裕,梅田永介,柿島大貴出版社/メーカー: 翔泳社発売日: 2015/01/28メディア: 大型…

Lazybonesによるプロジェクトテンプレート管理(1): Lazybones概要/Hello Lazybones

Lazybonesとは? Lazybonesはプロジェクトテンプレートからプロジェクトのひな形を自動作成するツールです。 pledbrook/lazybones Railsのscaffoldや、Mavenのarchetype:generateに近いメージですが、特定のフレームワークやビルドツールに依存しない汎用的な…

GroovyでApache Sparkアプリケーションを作る #gadvent

このエントリは G*Advent Calendar(Groovy,Grails,Gradle,Spock...) Advent Calendar 2014 - Qiita の12/20担当分です。 Apache Sparkとは? Hadoopエコシステムにおける次世代の分散処理基盤として注目されています。インメモリ処理とDAGによるタスクスケジ…

GroovyでAWS SDK for Javaを使う #gadvent

このエントリは G*Advent Calendar(Groovy,Grails,Gradle,Spock...) Advent Calendar 2014 - Qiita の12/13担当分です。 AWS SDK for Javaとは? パブリッククラウドサービスであるAmazon Web ServicesにはWebAPIが提供されていますが、生のAPIでは使いにくい…

Gradle Groovy Shellプラグインを使って依存ライブラリ込みのREPLを起動する #gadvent

このエントリは G*Advent Calendar(Groovy,Grails,Gradle,Spock...) Advent Calendar 2014 - Qiita の12/8担当分です。 Gradle Groovy Shellプラグインとは? Groovyには"groovysh"(Groovy Shell)という機能があります。これはGroovyのインタラクティブシェル…

CDH5対応のSparkをビルドする方法

このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの12/6担当分です。 CDH5対応のSparkバイナリはどこに? Sparkアプリケーションの開発を行っていると「Hadoopクラスタに接続してxxする」というケースがあると思います。いちいちアプリ…

Docker Remote APIを使ってみる #apijp

このエントリは「Web API Advent Calendar 2014」の12/3担当です。次は「YosAwed」さんです。最近話題のDockerですが、みなさんもう使ってますよね?Dockerはクライアント-サーバーアーキテクチャを採用しており、DockerクライアントとDockerサーバーがRemote…

docker pushを中断した後で再開したいとき

dockerで大きめのイメージをpushしようとすると、ネットワークの状態によってはハングして止まったりします。 Ctrl+Cで中断して再度 docker push を行うと、 2014/11/28 13:14:21 Error: push nobusue/kafka is already in progressという感じでエラーになり…

Boot2Dockerの環境設定の自動化

Boot2Docker経由でDockerを利用する場合、dockerコマンドにDockerホストの接続先や証明書のパスなどを教えてやるために環境変数を設定する必要があります。 設定すべき内容は「boot2docker shellinit」コマンドで確認できます。 $ boot2docker shellinit Wri…

Hadoopクラスタ on AWSの俺々ベストプラクティス(2014年10月時点)

VPCを使って固定IPを振り、ホスト指定は基本的にIPで行う DNS名はAWSデフォルトから変えない(逆引き対策) クラスタ用にサブネットを切り、サブネット内は通信フリーにする(ポート開放の運用負荷軽減のため) サブネット内にはVPNでアクセスできるようにする(…

Hadoop Conference Japan 2014参加レポート

最近Apache Spark関連のお仕事をしているので、2014/7/7に開催されたHadoop Conference Japan 2014に参加してきました。 Hadoopユーザー会主催、リクルートテクノロジーズ後援で、今回で5回目だそうです。 イベント概要&資料/Ustream公開 当日のタイムテー…

AntのGroovyタスクを使うときの俺流ベストプラクティス

G* Advent Calendar 2013の12/16担当、@nobusue です。12/7に続き二度目の登場になりますが、引き続き実務に役立つシリーズでいきたいと思います。といっても、「ビルドはGradleで決まりだよね!」というイマドキの現場ではなく、いまだにAntでがんばってい…

GroovyでGCログ解析: ちょっと扱いにくいフォーマットを処理するときのパターン

G* Advent Calendar 2013の12/7担当、@nobusue です。今年は基本に返って、実務に役立つGroovyの利用方法をご紹介しようと思います。(というか実際に業務で使ったのですが。。。)お題はGCログの解析です。 ここでご紹介するサンプルはOracle JDK7(HotSpot VM…

マキタのコードレス掃除機が素晴らし過ぎる件

コード式の掃除機はコードが邪魔で取り回しが悪かったり、ホースが短くて前かがみで作業しなければならなくて腰が痛くなったりで、ついつい掃除が億劫になってしまいがちでした。 以前からコードレス掃除機にチャレンジしてみては、吸い込みが弱かったり、吸…

LiquiBaseメモ

昨年秋のJGGUG合宿でもくもくと調べた結果のメモです。今さらですがまとめておきます。 プロジェクトWebサイト http://www.liquibase.org/ http://www.liquibase.org/ja/home 日本語チュートリアル DBAを救え! DBリファクタリングツール「LiquiBase」を使っ…

Grails Database Reverse Engineering Plugin - G* Advent Calendar 2012 -

G* Advent Calender 2012の12/6担当、@nobusue です。どうも風邪を引いたらしく、体調がやばい事になってます。。。ということで、JGGUG合宿2012の成果まとめで勘弁してください。Grailsは通常、モデルオブジェクトを作成し、そこからRDB(もしくはKVSなど任…

継続的デリバリー読書会#5に参加 / DBマイグレーションツール

@kyon_mm さん主催の読書会も第五回になりました。 今回の対象範囲は 第10章 アプリケーションをデプロイ・リリースする 第11章 基盤と環境を管理する 第12章 データと管理する でした。どの章も本業と関わりが深く、参加されたみなさんとのディスカッション…

QUMIのモバイルプロジェクター購入しました

こちらの記事に触発されてAmazonでぽちってしまいました。 http://itlifehack.jp/archives/6478870.html 現物はこちら。比較のために「継続的デリバリー」と重ねてみました。 こんなに小さいボディなのに、解像度は1280x800、かつ数m先の壁に映しても文字が…

G*と言えば猫、ということで子猫Tube作りました #gadvent2011

たいしたものではありませんが、まぁ実行してみてください。(猫好きさんは仕事の手が止まるので注意!!!) YouTubeのAPIはGETでAtomフォーマットのXMLを取得できますので、それを解析してURLを抽出しています。ブラウザ表示のところはjava.awt.Desktopを利…

Vim(GVim)でGitのコミットログを書く設定

msysgitを使う場合です。Git-1.7.7.1-preview20111027.exeで動作確認しています。GitHubなどとの連携を考慮して、コミットログはutf-8で記録することを前提とします。/etcにGit Bash起動時の設定ファイルがあるので、適宜修正してやればよいです。私の環境で…

2011年09月05日のツイート

@nobusue: ぶさかわ / 今日のマシマロちゃん URL2011-09-05 19:00:40 via Hatena @nobusue: WebDriver - あすかぜ・ねっと URL2011-09-05 17:06:33 via Hatena @nobusue: Rhodes[1]Rubyでネイティブモバイルアプリを作成 - ツールで楽々!Androidアプリ開…

2011年09月04日のツイート

@nobusue: プログラミングGROOVY - ねこら対策研究要塞日誌@はてな URL2011-09-04 12:31:03 via Hatena @nobusue: Groovy Eclipseを使う際にやっておいた方がいい設定 - @ikikko のはてなダイアリー URL2011-09-04 12:29:02 via Hatena @nobusue: Grailsか…

2011年09月03日のツイート

@nobusue: I'm at サンマルクカフェ 蕨東口駅前店 w/ @hirosemi URL2011-09-03 20:03:35 via foursquare @nobusue: GParsのデータ並列のハロワ的コードを書いてみた - Naoki_Rinの学習 - 補助記憶領域 URL2011-09-03 16:19:11 via Hatena

2011年09月02日のツイート

@nobusue: すっごい雨降ってきた。2011-09-02 19:39:43 via web @nobusue: デモ作成用ツール / 【ハウツー】ゼロからはじめるCamtasia Studio - Camtasia Studio 6で作成する社内チュートリアル (1) Camtasia Studioの概要 | パソコン | マイコミジャーナル …

2011年09月01日のツイート

@nobusue: ヨドバシ.com-スペシャル情報-タブレットの大本命!Sony Tablet<ソニータブレット> URL2011-09-01 11:06:07 via Tweet Button @nobusue: Google AppEngineが本サービス開始とのことでfreeの上限が下げられるとのこと。新料金体系で課金がいくらに…

2011年08月31日のツイート

@nobusue: 【最終回】改革に失敗する日本企業がはまり続ける罠:日経ビジネスオンライン URL2011-08-31 20:46:57 via Hatena @nobusue: OpenFlowが話題な理由 - 記者の眼:ITpro URL #itprojp ルーティングを外だしで制御できるのは面白い。ルールを資産化で…

2011年08月29日のツイート

@nobusue: Gihyo Digital Publishing URL2011-08-29 17:57:50 via Hatena @nobusue: Selenium WebDriver を利用して Webアプリケーションのテストをしてみる - suzukijの日記 URL2011-08-29 07:56:42 via Hatena @nobusue: Gradle 標準ディレクトリ構造 自動…

2011年08月27日のツイート

@nobusue: 今日もつぶやいて1円募金しました。「東日本大震災ツイッター募金(無料)」はこちら URL2011-08-27 12:23:28 via ユニリーバ ツイッター募金 @nobusue: クラウド/PaaSで開発者の役割はどう変わるのか? - XDev2011:ITpro URL #itprojp2011-08-2…

2011年08月26日のツイート

@nobusue: IT翻訳者Blog : Google Translator Toolkit の使い方: 入門編 URL2011-08-26 13:01:29 via Hatena @nobusue: 最先端の XML 圧縮手法の調査 URL2011-08-26 12:18:33 via Hatena @nobusue: EPUB で電子書籍を作成する URL2011-08-26 12:15:22 via H…

2011年08月25日のツイート

@nobusue: @nightmare_tim いえー。Gradle本だいぶ読み進みました。2011-08-25 22:44:36 via web to @nightmare_tim @nobusue: 嫁が帰ってきたのでリモートもくもくGroovy終了します。 #jggug2011-08-25 20:50:04 via web @nobusue: Gradleはソースディレク…