Duet: efficient and scalable hybriD neUral rElation undersTanding

要約

学習されたカーディナリティ推定手法は、従来の手法と比較して高い精度を実現しました。
学習された手法の中でも、クエリ駆動型のアプローチは、データとワークロードのドリフトの問題に長い間直面しています。
この問題を回避するために、クエリ駆動方式とハイブリッド方式の両方が提案されていますが、最先端の方式であっても、高いトレーニングと推定のコスト、限られたスケーラビリティ、不安定性、および高いカーディナリティと高いパフォーマンスでのロングテール分散の問題に悩まされています。
– 次元テーブル。学習されたカーディナリティ推定器の実際の適用に重大な影響を与えます。
この論文では、これらの問題のほとんどが、広く使用されているプログレッシブ サンプリングによって直接引き起こされていることを証明します。
私たちは自己回帰モデルに述語情報を導入することでこの問題を解決し、サンプリングや微分不可能なプロセスを使用せずにカーディナリティを直接推定する、安定かつ効率的かつスケーラブルなハイブリッド手法である Duet を提案します。これにより、O(n からの推論の複雑さが軽減されるだけでなく)
) から O(1) までは、Naru や UAE と比較して優れていますが、高カーディナリティおよび高次元のテーブルでも高い精度を実現します。
実験結果は、Duet が上記の設計目標をすべて達成でき、はるかに実用的であり、GPU で学習されたほとんどのメソッドよりも CPU での推論コストが低いことを示しています。

要約(オリジナル)

Learned cardinality estimation methods have achieved high precision compared to traditional methods. Among learned methods, query-driven approaches face the data and workload drift problem for a long time. Although both query-driven and hybrid methods are proposed to avoid this problem, even the state-of-the-art of them suffer from high training and estimation costs, limited scalability, instability, and long-tailed distribution problem on high cardinality and high-dimensional tables, which seriously affects the practical application of learned cardinality estimators. In this paper, we prove that most of these problems are directly caused by the widely used progressive sampling. We solve this problem by introducing predicates information into the autoregressive model and propose Duet, a stable, efficient, and scalable hybrid method to estimate cardinality directly without sampling or any non-differentiable process, which can not only reduces the inference complexity from O(n) to O(1) compared to Naru and UAE but also achieve higher accuracy on high cardinality and high-dimensional tables. Experimental results show that Duet can achieve all the design goals above and be much more practical and even has a lower inference cost on CPU than that of most learned methods on GPU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google