Akka HTTPでJacksonを使ってJSON変換をする

Akka HTTPではspray-jsonを使用するモジュールが提供されており、これを使用することでJSONで受け取ったリクエストをオブジェクトに変換したり、戻り値として返却したオブジェクトをJSONとしてレスポンスすることができます。

takezoe.hatenablog.com

が、spray-jsonJSON変換を行うにはオブジェクトの型に対応したFormatを定義しておかなくてはなりません。これがまあまあ面倒なのでJacksonを使ってリフレクションでズルをするためのMarshallerUnmarshallerを作ってみました。

まずはbuild.sbtに以下の依存関係を追加します。

libraryDependencies += "com.fasterxml.jackson.module" %% "jackson-module-scala" % "2.7.2"

MarshallerUnmarshallerの実装は以下のような感じです。

gist.github.com

以下のようにインポートしておけばOKです。

import com.github.takezoe.akka.http.jackson.JacksonSupport._

個人的にJSONに関してはどうせ一度テキストになるので、いちいちFormat書かずにリフレクションで変換しちゃえばいいんじゃないかなぁと思っているのですが、リフレクションだと型情報を取れないケースもあって結局メタデータ的なアノテーションをつけないといけなかったりするのでどっちもどっちかもしれません。

追記:折角なのでライブラリとして使えるようにしてみました。

github.com

Jekyllで未来の日付のエントリも表示する

Jekyllは以下のようにエントリの先頭にYAMLメタデータを記述することができます。

---
layout: post
title: "GitBucket 4.3 released!"
date: 2016-07-30 00:00:00
image: /images/gitbucket-4.2/adminlte.png
categories: gitbucket
---

dateで公開日を指定しておくと、その日までそのエントリは公開されません。その日時よりも後にサイトをビルドしなおしたタイミングで初めて表示されるようになります。

しかし、ローカルで表示を確認する場合など未来の日付のエントリの内容も表示したいことがあります。このような場合はJekyllに--futureコマンドをつけて起動すればいいようです。

$ jekyll server --baseurl '' --watch --future

なお、エントリの表示を制御する方法はdateの他にもいくつか方法があります。

たとえばエントリのメタデータに以下のように記述しておくとそのエントリは表示されなくなります。--unpublishedオプションを付けてJekyllを起動するとこのエントリも表示されます。

published: false

また、エントリのファイルを_posts/ディレクトリではなく_drafts/ディレクトリに置いておくことでも表示されなくなります。この場合は--draftsオプションを付けてJekyllを起動すると表示できるようです。

GitBucketをPostgreSQLやMySQLで動かす

GitBucketは標準では内蔵のH2という組み込みデータベースで動作しますが、4.0からはH2の代わりに外部データベースとしてPostgreSQLMySQLを使うことができるようになっています。H2はデータの保全性に問題がありますので業務等の重要な用途にGitBucketを使われるのであればなるべくPostgreSQLもしくはMySQLを利用することが望ましいです(パフォーマンス面でもメリットがあります)。

外部データベースの設定方法は以下のドキュメントに記載されていますが、このエントリでは日本語でもう少し丁寧に解説しようと思います。

github.com

クリーンインストールの場合

まず、一度GitBucketを起動すると~/.gitbucketディレクトリが作成されるので、いったんGitBucketを停止します。

~/.gitbucketディレクトリの中にdatabase.confというファイルがあるはずです。このファイルは以下のような内容になっています。

db {
  url = "jdbc:h2:${DatabaseHome};MVCC=true"
  user = "sa"
  password = "sa"
}

このファイルを使用するデータベースにあわせて以下のように編集します(URLやユーザ名、パスワードは使用する環境にあわせて適宜変更してください)。データベースはあらかじめ作成しておく必要があります。なお、データベースは使用する文字コードで作成しておく必要があります。

MySQLの場合

db {
  url = "jdbc:mysql://localhost/gitbucket?useUnicode=true&characterEncoding=utf8"
  user = "test"
  password = "test"
}

MySQLの場合は5.7以上である必要があるので注意してください。

PostgreSQL

db {
  url = "jdbc:postgresql://localhost/gitbucket"
  user = "test"
  password = "test"
}

これでGitBucketを再起動すればMySQLまたはPostgreSQLの指定したデータベースに必要なテーブルが自動的に作成され、外部データベースでGitBucketを使い始めることができます。

アップグレードの場合

既存のGitBucketを外部データベースを使用するように設定する場合は一度データをエクスポートしておき、データベースの設定後にインポートしなおす必要があります。また、GitBucket 3系から4系にアップグレードする場合、以下の2点に注意が必要です。

  • まず一度GitBucket 3系の最終バージョンである3.14までアップデートしてから4系にアップデートする必要がある
  • GitBucket 4系にアップデートする際は一度プラグインをアンインストール(~/.gitbucket/pluginsディレクトリからjarファイルを削除)しておく必要がある

データのエクスポート

GitBucketを4系にアップグレードするとGitBucketの管理コンソールから以下のように既存のH2内のデータをエクスポートする機能が利用可能になりますので、ここでデータをXMLまたはSQLでエクスポートしておきます。

f:id:takezoe:20160716021017p:plain

XMLだとインポート時にGitBucketの管理コンソールから作業が可能ですが、SQLだと自分でDBに直接インポートする必要があります。そのためSQLのほうが作業は面倒なのですが、データが大きい場合などXMLだとインポートに失敗することがあるので、可能であればXMLSQL両方ともエクスポートしておくとよいでしょう。

プラグインのデータも移行する場合はプラグインのテーブル(gitbucket-gist-pluginであればGISTテーブルとGIST_COMMENTテーブル)も選択しておきます。プラグインのデータが不要な場合はチェックを外しておきます。いったん基本データだけ移行してプラグインのデータは後から移行したいという場合は二回に分けてエクスポートしておきます。

データのインポート

エクスポートに成功したら一度GitBucketを停止し、使用するデータベースにあわせて~/.gitbucketディレクトリにあるdatabase.confを前述の通り修正します。また、プラグインのデータも移行する場合はGitBucket4系に対応したバージョンのプラグインをインストールしておきます。

この状態でGitBucketを起動するとクリーンインストール状態で立ち上がりますのでデフォルトの管理ユーザであるroot / rootでログインし、管理コンソールからさきほどエクスポートしたXMLファイルをインポートします。インポートが成功すれば外部データベースへの移行は完了です。

ただし、PostgreSQLの場合のみ、追加で以下のSQLを実行しておく必要がありますのでpsqlコマンドなどを使って実行しておいてください。

SELECT setval('label_label_id_seq', (select max(label_id) + 1 from label));
SELECT setval('activity_activity_id_seq', (select max(activity_id) + 1 from activity));
SELECT setval('access_token_access_token_id_seq', (select max(access_token_id) + 1 from access_token));
SELECT setval('commit_comment_comment_id_seq', (select max(comment_id) + 1 from commit_comment));
SELECT setval('commit_status_commit_status_id_seq', (select max(commit_status_id) + 1 from commit_status));
SELECT setval('milestone_milestone_id_seq', (select max(milestone_id) + 1 from milestone));
SELECT setval('issue_comment_comment_id_seq', (select max(comment_id) + 1 from issue_comment));
SELECT setval('ssh_key_ssh_key_id_seq', (select max(ssh_key_id) + 1 from ssh_key));

XMLでのインポートに失敗する場合はエクスポートしたSQLファイルを直接DBにインポイートします。たとえばMySQLの場合は以下のようにします。

$ mysql -u root -p gitbucket < gitbucket-export-xxxxxxxx.sql

まとめ

GitBucketを外部データベースで動かす方法について紹介しました。デフォルトのH2はデータが破損することがあるというレポートを多くのユーザさんから頂いていますので、繰り返しになりますができるだけMySQLPostgreSQLを利用されることをおすすめします。

既存のGitBucketのデータを外部データベースに移行する場合は多少複雑な手順が必要になりますが、もしトラブルに遭遇した場合はGitterでご相談いただければと思います。

gitter.im

JekyllでTwitterカード用のタグを出力する

前回紹介したjekyll-seo-tagプラグインはogp用のタグは出力してくれるのですが、twitterカード用のタグを出力するにはTwitterのユーザ名を設定しないといけないようです。

GitBucketは自分のTwitterアカウントで情報を流していますが、プロジェクトとしてのアカウントはまだありませんし、Twitterカード自体はtwitter:siteを出力しなくても動作する様子です。グーグル先生に聞いてみたところ以下のような記事を見つけたので、これとjekyll-seo-tagプラグインを参考にしてtwitterカード用のタグをいい感じに出力するテンプレートを作ってみました。

davidensinger.com

{% assign twitter_description = page.description | default: page.excerpt | default: site.description %}
{% if twitter_description %}
  {% assign twitter_description = twitter_description | markdownify | strip_html | strip_newlines | escape_once %}
{% endif %}
{% if page.title %}
  {% assign twitter_title = page.title | append: " - " | append: site.title %}
{% else %}
  {% assign twitter_title = site.title %}
{% endif %}
{% if page.image %}
  {% assign twitter_image = site.baseurl | append: page.image %}
  {% assign twitter_card = "summary_large_image" %}
{% else %}
  {% assign twitter_image = site.baseurl | append: "/favicon.png" %}
  {% assign twitter_card = "summary" %}
{% endif %}
<meta name="twitter:card" content="{{ twitter_card }}">
<meta name="twitter:title" content="{{ twitter_title }}">
<meta name="twitter:url" content="{{ site.baseurl }}{{ page.url }}">
<meta name="twitter:description" content="{{ twitter_description }}">
<meta name="twitter:image:src" content="{{ twitter_image }}">

これを_includes/head.htmlなどに入れておけばOKです。画像ファイルはjekyll-seo-tagプラグインと同じく記事ごとにヘッダのYAML部分のimage属性に指定する必要があります。

これで記事のURLをツイートすると以下のような感じで表示されるようになります。

jekyll-seo-tagプラグインのソースを見てるとtwitter:cardを出力するだけでもいいっぽい(ogp用の該当する情報を自動的に拾ってくれる?)のですが、自分で試してみたところ、TwitterAndroidアプリでは表示されるけどWebでは表示されなかったりしたのでとりあえずogpとTwitterカード用のmetaタグを両方出力するようにしています。

GitHub PagesのJekyllでogpタグを出力する

GitHub Pagesのドキュメントによるとjekyll-seo-tagというプラグインが使えるみたいです。

github.com

まず_config.ymlに以下の記述を追加します。

gems:
  - jekyll-seo-tag

それから_layouts/_default.htmlなどタグを出力したい位置に{% seo %}という記述を追加します。

<html>
  <head>
    {% include head.html %}
    {% seo %}
  </head>
</html>

とりあえずこれだけでサイトの設定や記事のデータに応じて必要最低限のタグは出力されますが、各ページや記事のヘッダ部分のYAMLにimage属性を記述しておくとog:imageタグを出力できます。

---
layout: post
title: "GitBucket 4.2 released!"
date: 2016-07-02 00:00:00
image: /images/gitbucket-4.2/adminlte.png
categories: gitbucket
---

他にもいろんな設定があるみたいなのでjekyll-seo-tagのREADMEを読んでおくとよいでしょう。

ちなみにjekyll-auto-imageプラグインを使うと記事中の画像ファイルのパスを自動的に取得できるのでogpやtwitterカードなどのタグを簡単に生成できそうですが、残念ながらGitHub Pagesでは使えないみたいです。

github.com

GitBucket 4.2をリリースしました

GitBucketを3.x系から4.0にアップデートしていた場合に4.2にアップデートできないというバグがあることが発覚したためこれを修正した4.2.1をリリース済みです。この条件に該当する方は4.2ではなく4.2.1を使用するようにしてください(ただし、新規にGitBucketをインストールする場合は4.2をご利用下さい)。

https://github.com/gitbucket/gitbucket/releases/tag/4.2.1

Scalaで実装されたオープンソースのGitサーバ、GitBucket 4.2をリリースしました。

https://github.com/takezoe/gitbucket/releases/tag/4.2

AdminLTEの適用によるUIの刷新

GitBucketはGitHubライクなUIから独自UIへの移行を進めていますが、このバージョンではBootstrap用の管理画面テーマであるAdminLTEを適用しました。

github.com

ヘッダやサイドバーが固定され、より使いやすく洗練されたUIになっています。UIの改善は今後も継続的に行っていく予定です。

f:id:takezoe:20160626021014p:plain

gitリポジトリgc

リポジトリ管理画面のDanger Zoneでgitリポジトリgcを行えるようになりました。

f:id:takezoe:20160626021023p:plain

WikiとIssuesを無効化可能に

リポジトリの設定画面でWikiとIssuesを無効にできるようになりました。

f:id:takezoe:20160626021035p:plain

もし外部のWikiサービスやイシュートラッキングサービスを使用している場合、WikiやIssuesを無効にした上で外部サービスのURLを入力しておくことでサイドメニューから外部サービスにリンクすることができます。

SMTP設定のテストメール

SMTPの設定が正しいことを確認するために指定したURLにテストメールを送信できるようになりました。

f:id:takezoe:20160626021048p:plain

この他にも様々な改善やバグフィックスを行っています。詳細についてはIssueの一覧をご覧ください。

Netflixのオープンソースソフトウェア

ここのところHystrixについて調べていたのですが、Netflixは他にもGitHub上で様々なOSSを公開しています。

github.com

Javaのものが中心ですがPythonやGo、Cで書かれているものもあります。ライブラリ的なものからミドルウェアや運用ツールまで多岐に渡っており、NetflixAWSを利用しているということもありAWS上での利用に特化したものもあります。また各プロダクトのドキュメントもしっかりしており、以下のような専用のサイトも立ち上げられており、社内で開発したものを積極的にOSS化するという方針が伺えます。

netflix.github.io

HystrixやEurekaなどを筆頭に有名なものも多いのですが、なにぶん数が多くどのようなものがあるのかを把握するのも割と一苦労な感じなのですが、Netflixでは自社のOSSを紹介するMeetupが継続的に開催されているらしく、そのスライドを集めてみました。

www.slideshare.net

www.slideshare.net

www.slideshare.net

www.slideshare.net

www.slideshare.net

www.slideshare.net

www.slideshare.net

2014年のスライドですが、初期の頃からあるプロダクトについては以下が参考になります。

www.slideshare.net

日本語では以下の記事でまとめられています。

d.hatena.ne.jp

wazanova.jp