LearnedWMP: Workload Memory Prediction Using Distribution of Query Templates

要約

最新の DBMS では、結合、並べ替え、集計などのメモリ内分析クエリ操作を処理するときに、作業メモリが制限要因になることがよくあります。
DBMS に対する既存のリソース推定アプローチは、クエリ実行プラン内の個々のデータベース オペレーターの推定値を計算することによって、クエリのリソース消費量を推定します。
このようなアプローチは、基礎となるデータの均一性や独立性などの単純化した前提に依存しているため、時間がかかり、エラーが発生しやすくなります。
さらに、既存のアプローチは個々のクエリに個別に焦点を当てており、同時に実行される可能性のあるワークロード内の他のクエリを考慮していません。
この研究では、クエリのバッチ (ワークロード) の同時実行下でのクエリ パフォーマンスの最適化に興味があります。
具体的には、ワークロード内のクエリごとに個別の見積もりを提供するのではなく、ワークロードのメモリ需要を予測することに重点を置いています。
ワークロードのメモリ予測の問題を導入し、それを分布回帰問題として形式化します。
ワークロードの作業メモリ需要の推定を改善および簡素化するために、学習済みワークロード メモリ予測 (LearnedWMP) を提案します。
包括的な実験評価を通じて、LearnedWMP が最先端の手法のメモリ推定誤差を最大 47.6% 削減することを示しました。
代替の単一クエリ モデルと比較して、トレーニングと推論中、LearnedWMP モデルとそのバリアントは 3 倍から 10 倍高速でした。
さらに、LearnedWMP ベースのモデルは、ほとんどの場合、少なくとも 50% 小さくなりました。
全体として、この結果は、LearnedWMP アプローチの利点と、クエリ パフォーマンスの最適化に広範な影響を与える可能性を示しています。

要約(オリジナル)

In a modern DBMS, working memory is frequently the limiting factor when processing in-memory analytic query operations such as joins, sorting, and aggregation. Existing resource estimation approaches for a DBMS estimate the resource consumption of a query by computing an estimate of each individual database operator in the query execution plan. Such an approach is slow and error-prone as it relies upon simplifying assumptions, such as uniformity and independence of the underlying data. Additionally, the existing approach focuses on individual queries separately and does not factor in other queries in the workload that may be executed concurrently. In this research, we are interested in query performance optimization under concurrent execution of a batch of queries (a workload). Specifically, we focus on predicting the memory demand for a workload rather than providing separate estimates for each query within it. We introduce the problem of workload memory prediction and formalize it as a distribution regression problem. We propose Learned Workload Memory Prediction (LearnedWMP) to improve and simplify estimating the working memory demands of workloads. Through a comprehensive experimental evaluation, we show that LearnedWMP reduces the memory estimation error of the state-of-the-practice method by up to 47.6%. Compared to an alternative single-query model, during training and inferencing, the LearnedWMP model and its variants were 3x to 10x faster. Moreover, LearnedWMP-based models were at least 50% smaller in most cases. Overall, the results demonstrate the advantages of the LearnedWMP approach and its potential for a broader impact on query performance optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google