Trino
今回もIcebergコネクタ等を中心にバグ修正や細かい改善が多いですね。コア機能だとSELECTでもLineageが効くようになっているのは嬉しいかも。クエリに正規表現でリソースグループを選択できるようになっているのもユースケースによっては便利そうです。 原文…
去年は仕事でTrinoのバージョンアップをやっていたこともありコントリビュートできるネタが色々あったのですが、今年はあまりTrino本体をいじることがなかったのでリリースノートのtypoや細かい改善ばかりでした。 Fix a wrong issue link in 469 release no…
前回は4ヶ月近く間が空きましたが今回は約1ヶ月でのリリースとなりました。今回は細かいバグやパフォーマンス改善が中心のようなので比較的安全にアップグレードできそうです。分量的にもこのくらいだとリリースノートのキャッチアップも楽ですね。 原文はこ…
以前は1〜2週間おきにリリースされていたTrinoですが、今回はなんと約4ヶ月ぶりのリリースでした。間が空いただけあって修正内容も多いのですが、コネクタの修正はLakehouseコネクタが追加された以外はIcebergやDelta Lakeコネクタ中心でそれほどでもなさそ…
前回のリリースから間が空いたので変更点も多くなっています。474で入ったGracefulシャットダウンの問題の修正が含まれていますが、他にも色々変わっているのでアップグレードの際はきちんと検証を行いたいところです。 原文はこちら: https://trino.io/docs…
珍しく少し間が空いて約1ヶ月ぶりのリリースとなりました。GROUP BY AUTOは便利そうですね。また、HiveコネクタとIcebergコネクタでは多くの問題が修正されています。 原文はこちら: https://trino.io/docs/current/release/release-475.html General Setオ…
473にクリティカルなバグがあったようで修正を含む474がすぐにリリースされました。473が出てから2日しか経ってないので修正も少ないです。 原文はこちら: https://trino.io/docs/current/release/release-474.html General リソースグループのセレクタにori…
このバージョンで実装されたDISTINCTとGROUP BYの改善にバグがあり、グループ数が33M以上ある場合にクエリ結果がおかしくなってしまう問題があったようで、すでにこの問題に対する修正(#25381)を含む474がリリースされており、そちらを使うことが推奨されて…
今回はそんなに大きな変更はなさそうです。バグ修正が中心のようなので比較的安全なリリースと言えそうです。 原文はこちら: https://trino.io/docs/current/release/release-472.html General サーバーのコンソール出力の視認性を向上させるためにカラーリ…
流行に乗ってAI関数が実装されました。プロンプトはこのへんに埋め込まれているようです。 原文はこちら: https://trino.io/docs/current/release/release-471.html General OpenAI、Anthropic、またはOllamaを使用するその他のLLMをバックエンドとして使用…
DuckDBコネクタとLokiコネクタ（Grafanaのストレージらしい）が追加されています。また、Kinesisコネクタが削除されました。 原文はこちら: https://trino.io/docs/current//release/release-470.html General DuckDBコネクタを追加 (#18031) Lokiコネクタを…
年末年始を挟んだこともあってか前回のリリースから1ヶ月以上期間が空いたためかなりの量の修正があります。Trino 468で報告されていたOOMが直っているのが大きいですかね。Delta Lakeコネクタは以前からDeletion vector絡みの問題が目立ちます。 原文はこち…
まだ実験的サポートとのことですが、Pythonユーザ定義関数は（ユーザとしては）夢が膨らみますね。また、ノードの状態としてDRAININGとDRAINが導入されたことで動的にクラスタをスケールアウト・スケールインする際、今まではスケールインでにGraceful Shutd…
Window関数やスプーリングプロトコルの改善など。また、内部通信をHTTP/2に変更したことで色々と問題が報告されており、デフォルトがHTTP/1.1に戻されています。 そういえばTrino 466で導入されたスプーリングプロトコルですが、クライアントが結果をフェッ…
今年もTrinoへのコントリビューションをまとめてみました。 去年は仕事の関係もあってバグ修正のPRなどもあったのですが、今年はIcebergコネクタなどのコードを読んでいて気付いた細かいコードの修正が多く、去年と比べて数は多いけど内容はしょぼいものが多…
長らくPRが出ていたApache Rangerプラグインがついにマージされました。 もともとTrinoのRangerプラグインは各種エンジン向けのインテグレーションの一部としてRanger側でメンテされていたのですが、RangerとTrinoのバージョンアップ速度があまりに違いすぎ…
前回から少し時間が空いたので変更内容多めです。ここ最近のリリースを見てもIcebergコネクタは力入ってる感じがありますね。コアの変更だとLarge dynamic filterがデフォルトで有効化されている点は注意が必要かもしれません。 原文はこちら: https://trino…
Accumuloコネクタが削除される一方でFaker connectorとVertica connectorが追加されました。Datafakerを使ってデータを自動生成できるFaker connectorはテストなどに便利そうです。 原文はこちら: https://trino.io/docs/current/release/release-464.html G…
内部通信でHTTP/2が有効化され、クライアントともHTTP/2で通信可能になったようです。また、Delta LakeでDeletion vector有効時にCDFがおかしくなる問題が修正されたようです。 原文はこちら: https://trino.io/docs/current/release/release-463.html Gener…
ついにリリース間隔が一週間を切ってきました。Database resource group managerで動的にグループの設定を変更した場合に色々問題があったのが修正されているみたいです。 原文はこちら: https://trino.io/docs/current/release/release-462.html General Da…
ここのところTrinoのリリースが週次ペースなのですが、その分一回の分量は控えめなのでどちらが楽なのか…。UIの改善はわかりやすくて良いですね。 原文はこちら: https://trino.io/docs/current/release/release-461.html General 実装にあわせてコンフィギ…
ここのところ非推奨クラス、メソッドの削除やあまり使われてなさそうなコネクタの廃止といったクリーンアップが目立ちますね。 原文はこちら: https://trino.io/docs/current/release/release-460.html General 外部シンボルを参照するLambda式を含むクエリ…
原文はこちら: https://trino.io/docs/current/release/release-459.html General FTEモード（retry_policyがTASK）かつadaptive join reorderingが有効な場合に発生する可能性のあるエラーを修正 (#23407) Docker image JavaランタイムをJava 23にアップデ…
予想はしていましたが、やはりこの頻度はまあまあきつい…。あと細かい改善やリファクタリング、バグ修正などはリリースノートに載らないのでcoreや使っているコネクタだけでもコミットログまでちゃんと見ないとダメかも。 原文はこちら: https://trino.io/do…
Trino 456はリリースプロセスの問題で不正なアーティファクトが生成されてしまったようでスキップされたみたいです。 原文はこちら: https://trino.io/docs/current/release/release-457.html General CPU、メモリ使用量、スケジューリングポリシーなどリソ…
Trinoのリリースノートはなるべくチェックするようにしているのですが、せっかくチェックしているので日本語訳（リリースノートだけだとよくわからなかったものに関しては変更内容を確認して書き換えたりしています）を載せておくのをやってみようかと思いま…
以前Presto/Trinoでのサブクエリ重複実行問題について書いたのですが、 takezoe.hatenablog.com その後調べたところ、最近のバージョンのPrestoDBではCTEの最適化機能が実装されているようなので少し調べてみました。 以下は公式サイトのCTE最適化機能に関す…
Trinoには標準でIcebergコネクタが付属しており、Icebergテーブルを読み書きすることができます。カタログの形式としては以下のものがサポートされています。 hive_metastore glue jdbc rest nessie snowflake この他にドキュメントには書かれていないのです…
github.com だいぶ時間がかかっていましたがついにマージされたようです。event-listeners-openlineageというプラグインとして提供され、有効にするとイベントリスナからOpenLineageサーバにLineageイベントを送信できるようになります。一応原作者というこ…
Presto/Trinoは分散クエリを高速に実行するためにストリーミング型のアーキテクチャを採用しているのですが、このためクエリ内に重複箇所があっても複数回並列に実行されてしまうという問題があります。わかりやすい例だと、CTEで定義したクエリを複数回参照…
