Window関数やスプーリングプロトコルの改善など。また、内部通信をHTTP/2に変更したことで色々と問題が報告されており、デフォルトがHTTP/1.1に戻されています。 そういえばTrino 466で導入されたスプーリングプロトコルですが、クライアントが結果をフェッ…
今年もTrinoへのコントリビューションをまとめてみました。 去年は仕事の関係もあってバグ修正のPRなどもあったのですが、今年はIcebergコネクタなどのコードを読んでいて気付いた細かいコードの修正が多く、去年と比べて数は多いけど内容はしょぼいものが多…
長らくPRが出ていたApache Rangerプラグインがついにマージされました。 もともとTrinoのRangerプラグインは各種エンジン向けのインテグレーションの一部としてRanger側でメンテされていたのですが、RangerとTrinoのバージョンアップ速度があまりに違いすぎ…
前回から少し時間が空いたので変更内容多めです。ここ最近のリリースを見てもIcebergコネクタは力入ってる感じがありますね。コアの変更だとLarge dynamic filterがデフォルトで有効化されている点は注意が必要かもしれません。 原文はこちら: https://trino…
Accumuloコネクタが削除される一方でFaker connectorとVertica connectorが追加されました。Datafakerを使ってデータを自動生成できるFaker connectorはテストなどに便利そうです。 原文はこちら: https://trino.io/docs/current/release/release-464.html G…
内部通信でHTTP/2が有効化され、クライアントともHTTP/2で通信可能になったようです。また、Delta LakeでDeletion vector有効時にCDFがおかしくなる問題が修正されたようです。 原文はこちら: https://trino.io/docs/current/release/release-463.html Gener…
ついにリリース間隔が一週間を切ってきました。Database resource group managerで動的にグループの設定を変更した場合に色々問題があったのが修正されているみたいです。 原文はこちら: https://trino.io/docs/current/release/release-462.html General Da…
ここのところTrinoのリリースが週次ペースなのですが、その分一回の分量は控えめなのでどちらが楽なのか…。UIの改善はわかりやすくて良いですね。 原文はこちら: https://trino.io/docs/current/release/release-461.html General 実装にあわせてコンフィギ…
ここのところ非推奨クラス、メソッドの削除やあまり使われてなさそうなコネクタの廃止といったクリーンアップが目立ちますね。 原文はこちら: https://trino.io/docs/current/release/release-460.html General 外部シンボルを参照するLambda式を含むクエリ…
原文はこちら: https://trino.io/docs/current/release/release-459.html General FTEモード(retry_policyがTASK)かつadaptive join reorderingが有効な場合に発生する可能性のあるエラーを修正 (#23407) Docker image JavaランタイムをJava 23にアップデ…
BRUNO 電動ミルコーヒーメーカー BOE080 [ ベージュ ]BRUNOAmazon 普段はコーヒー屋さんで挽いてもらった豆をペーパーフィルターでドリップしているのですが、たまたまいい感じのコーヒー豆を入手する機会があり、ミルを持っておらず自分で挽けないので飲め…
予想はしていましたが、やはりこの頻度はまあまあきつい…。あと細かい改善やリファクタリング、バグ修正などはリリースノートに載らないのでcoreや使っているコネクタだけでもコミットログまでちゃんと見ないとダメかも。 原文はこちら: https://trino.io/do…
Trino 456はリリースプロセスの問題で不正なアーティファクトが生成されてしまったようでスキップされたみたいです。 原文はこちら: https://trino.io/docs/current/release/release-457.html General CPU、メモリ使用量、スケジューリングポリシーなどリソ…
Trinoのリリースノートはなるべくチェックするようにしているのですが、せっかくチェックしているので日本語訳(リリースノートだけだとよくわからなかったものに関しては変更内容を確認して書き換えたりしています)を載せておくのをやってみようかと思いま…
以前Presto/Trinoでのサブクエリ重複実行問題について書いたのですが、 takezoe.hatenablog.com その後調べたところ、最近のバージョンのPrestoDBではCTEの最適化機能が実装されているようなので少し調べてみました。 以下は公式サイトのCTE最適化機能に関す…
Amateras ModelerをGitHubに移して数年が経ちますが、最新のEclipseで動くようにするために久しぶりに少し手を入れたついでに折角なのでGitHub ActionsでCIできないかなと思い調べてみました。 Eclipse Tychoを使うとMavenでEclipseプラグインなどのOSGiバン…
ミケル・アルテタ アーセナルの革新と挑戦作者:チャールズ・ワッツ平凡社Amazon 世界初のアルテタ本の翻訳とのことで、アルテタのアーセナル監督就任前夜から2022-23シーズンまでの歩みを記録した書籍です。 アルテタ本となってはいますがこの5年のアーセナ…
チームトポロジー 価値あるソフトウェアをすばやく届ける適応型組織設計作者:マシュー・スケルトン,マニュエル・パイス日本能率協会マネジメントセンターAmazon ふと思い立って今更読んでみたのですが、4タイプのチームと3タイプのコミュニケーションという…
Trinoには標準でIcebergコネクタが付属しており、Icebergテーブルを読み書きすることができます。カタログの形式としては以下のものがサポートされています。 hive_metastore glue jdbc rest nessie snowflake この他にドキュメントには書かれていないのです…
github.com 今回も自分は何もしてなくてリリース作業をしただけですが、以下のServlet 6.0/Jetty 12.0.9対応が取り込まれています。 github.com 対応のServletバージョンが上がるので3.0 -> 3.1へのバージョンアップとなりましたが、機能的にはScalatra 3.0…
github.com だいぶ時間がかかっていましたがついにマージされたようです。event-listeners-openlineageというプラグインとして提供され、有効にするとイベントリスナからOpenLineageサーバにLineageイベントを送信できるようになります。一応原作者というこ…
Scalaで実装されたオープンソースのGitサーバ、GitBucket 4.41.0をリリースしました。 https://github.com/takezoe/gitbucket/releases/tag/4.41.0 このバージョンでの大きな変更および新機能は以下の通りです。 プルリクエストのUIをシンプルに プルリクエ…
Apache Spark徹底入門作者:Jules S. Damji,Brooke Wenig,Tathagata Das,Denny Lee翔泳社Amazon 翔泳社さんの徹底入門シリーズですが、オライリーのLearning Spark 2nd Editionの邦訳のようです。以前原著を読んだ時にレビューを書いたのですが、Sparkを触る…
分散SQLクエリエンジンTrino徹底ガイド作者:Matt Fuller,Manfred Moser,Martin Traverso秀和システムAmazon オライリーから出ているTrino: The Definitive Guideの翻訳だそうです。以前から風の噂で翻訳しているという話を聞いてはいたのですが、ついに発売…
プログラマーのためのCPU 入門 CPU は如何にしてソフトウェアを高速に実行するか作者:Takenobu TaniラムダノートAmazon 前から気になっていたのですが、ここのところ取り組んでいた仕事も一段落して少し時間に余裕ができたので読んでみました。 ソフトウェア…
林陵平のサッカー観戦術 (平凡社新書1051)作者:林陵平平凡社Amazon 個人的に戸田さん亡き後プレミアリーグの日本語解説ではベン・メイブリーさんと双璧と思っている林陵平さんの書籍が発売されたとのことで早速読んでみました。 大人気で物理版は売り切れの…
人生が整うマウンティング大全作者:マウンティングポリス技術評論社Amazon 発売前から「マウントフルネス」「マウンティングエクスペリエンス」などキャッチーなフレーズでSNS上で話題を集めていたマウンティング大全、Kindleで買おうかと思っていたのですが…
systemdの思想と機能 Linuxを支えるシステム管理のためのソフトウェアスイート Software Design plus作者:森若 和雄技術評論社Amazon systemd普段使っているけど何もわからん状態なので近所の書店のポイント2倍デーで購入して冬休みに読んでみました。 タイ…
仕事関係 昨年末から春先まで3ヶ月ほど仕事が超絶忙しく、どうにか区切りがついたと思ったら下半期になって突然ボスがいなくなってしまったり、トラブルが続いたりと、なんだかんだ一年を通じて消耗が激しかったです。 命を削った甲斐もあってか現職4年目に…
Presto/Trinoは分散クエリを高速に実行するためにストリーミング型のアーキテクチャを採用しているのですが、このためクエリ内に重複箇所があっても複数回並列に実行されてしまうという問題があります。わかりやすい例だと、CTEで定義したクエリを複数回参照…