ExcelをDBに入っているデータとジョインできたら便利なのでは？ということで作ってみました。 github.com GitHubのリリースページからダウンロードしたjarファイルをDRILL_HOME/jars/3rdpartyにコピーし、ストレージ設定でdfsに以下のフォーマットの設定を追…

DrillはJSONやCSV、TSVなどはデフォルトでサポートしているのですが残念ながらLTSVはサポートしていません。もちろんLTSVはシンプルなのでJSONなどへの変換も容易なのですが、S3にバックアップしたLTSV形式のログを直接Drillから検索できると便利かなと思っ…

Apache Drillを取り上げているブログ記事などを見るとストレージの設定はWebコンソールから行う方法が紹介されていることが多いのですが、環境構築の自動化などを考えると設定などはコマンドラインで済ませたいところです。DrillはREST APIも備えており、こ…

最近何かとJSONデータを扱うことが多いのでApache Drillをいじったりしていたところ、id:nagixさんにお声がけいただき発表させていただきました。 drill.connpass.com 発表資料はこちらです。 Apache Drill in the toolbox from takezoe www.slideshare.net …

Apache Drillはストレージプラグインで様々なデータソースに対応しているのですが、JDBC用のストレージプラグインも用意されており、これを使用するとDrillからRDBにアクセスすることができます。 もちろん、ただ単に検索するだけならわざわざDrill経由でや…

草薙さんの以下のエントリを参考にやってみました。 nagix.hatenablog.com データソースとなるJSONは以下のような感じだとします。 { "user": { "name": "takezoe", "mail": "takezoe@gmail.com" } } ... ちょっと面倒ですが、以下のような感じでネストした…

そこそこの分量のJSONデータを手元で検索するのにDrillを使っています。Elasticsearchなどに入れてもいいのですが、Drillにはファイルの状態で検索できること、SQLで検索できること（それなりに複雑な集計を手軽に書けたり、必要に応じて他のデータとジョイ…

仕事ではElasticsearchを使っているのですが、それ以外にGitやS3に大量のJSONがあり、これをElasticsearchを組み合わせた検索ができないものかと思い、先日1.0がリリースされたばかりのApache Drillを試しています。ただし、Drillは現時点ではElasticsearch…