DuckDB 2.0 alphaの高速化はデータの形で変わる
これは何?DuckDBは、ローカルやクラウド上のファイルをSQLで分析する組み込み型データベースです。
MotherDuckのMehdi Ouazza氏が、2.0 alphaの非同期I/O、再帰CTE、VARIANTの内部列分割を1.5.5と比較した。S3上のParquet集計は著者の環境で18.8秒から7.7秒になった一方、小さいファイルや配列の型変換では改善が限られる、または遅くなる例もある。正式版の一律な性能保証ではなく、単一マシンと自宅回線での先行評価だ。
待ち時間と計算を分離する効果、階層の深さ、半構造化データの型の一貫性を別々に評価したい。バージョン更新だけでなく、クエリとデータ配置を合わせて測る判断材料になる。
- 読むべき人
- データ基盤・分析エンジニア
- HN
- 89 points / 28 comments