読者です 読者をやめる 読者になる 読者になる

Apache DrillでExcelを検索するプラグインを作った

ExcelをDBに入っているデータとジョインできたら便利なのでは?ということで作ってみました。 github.com GitHubのリリースページからダウンロードしたjarファイルをDRILL_HOME/jars/3rdpartyにコピーし、ストレージ設定でdfsに以下のフォーマットの設定を追…

Apache DrillでLTSVを検索するためのプラグインを作ってみた

DrillはJSONやCSV、TSVなどはデフォルトでサポートしているのですが残念ながらLTSVはサポートしていません。もちろんLTSVはシンプルなのでJSONなどへの変換も容易なのですが、S3にバックアップしたLTSV形式のログを直接Drillから検索できると便利かなと思っ…

Apache DrillでS3にアクセスする設定をREST APIで行ってみる

Apache Drillを取り上げているブログ記事などを見るとストレージの設定はWebコンソールから行う方法が紹介されていることが多いのですが、環境構築の自動化などを考えると設定などはコマンドラインで済ませたいところです。DrillはREST APIも備えており、こ…

第三回 Tokyo Apache Drill Meetupで発表してきました

最近何かとJSONデータを扱うことが多いのでApache Drillをいじったりしていたところ、id:nagixさんにお声がけいただき発表させていただきました。 drill.connpass.com 発表資料はこちらです。 Apache Drill in the toolbox from takezoe www.slideshare.net …

Apache DrillでRDBにアクセスしてみる

Apache Drillはストレージプラグインで様々なデータソースに対応しているのですが、JDBC用のストレージプラグインも用意されており、これを使用するとDrillからRDBにアクセスすることができます。 もちろん、ただ単に検索するだけならわざわざDrill経由でや…

Apache DrillでネストしたJSONを検索してみる

草薙さんの以下のエントリを参考にやってみました。 nagix.hatenablog.com データソースとなるJSONは以下のような感じだとします。 { "user": { "name": "takezoe", "mail": "takezoe@gmail.com" } } ... ちょっと面倒ですが、以下のような感じでネストした…

Apache DrillにJDBC経由で接続してみる

そこそこの分量のJSONデータを手元で検索するのにDrillを使っています。Elasticsearchなどに入れてもいいのですが、Drillにはファイルの状態で検索できること、SQLで検索できること(それなりに複雑な集計を手軽に書けたり、必要に応じて他のデータとジョイ…

HiveからElasticsearchに接続してみる

仕事ではElasticsearchを使っているのですが、それ以外にGitやS3に大量のJSONがあり、これをElasticsearchを組み合わせた検索ができないものかと思い、先日1.0がリリースされたばかりのApache Drillを試しています。ただし、Drillは現時点ではElasticsearch…