CATBench: A Compiler Autotuning Benchmarking Suite for Black-box Optimization

要約

ベイズの最適化は、コンパイラのチューニングを自動化するための強力な方法です。
オートチューンの複雑な景観は、ブラックボックスオプティマイザーにとってめったに考慮されない無数の構造的課題を提供し、標準化されたベンチマークの欠如により、ドメイン内のベイジアン最適化の研究が制限されています。
これに対処するために、離散、条件付き、および順列パラメーターのタイプから既知の未知のバイナリ制約、および多財務および多目的評価の両方に至るまで、コンパイラオートチューニングの複雑さをキャプチャする包括的なベンチマークスイートであるCatbenchを提示します。
キャットベンチのベンチマークは、テンソル代数から画像処理とクラスタリングまで、さまざまな機械学習指向の計算に及び、TacoやRise/Elevateなどの最先端のコンパイラーを使用します。
Catbenchは、ベイジアン最適化アルゴリズムを評価するための統一されたインターフェイスを提供し、代理と現実世界のコンパイラ最適化タスクの両方の使いやすく完全にコンテナ化されたセットアップを通じて再現性と革新を促進します。
いくつかの最先端のアルゴリズムでキャットベンチを検証し、その長所と短所を明らかにし、ベイジアンの最適化とコンパイラオートチューニング研究の両方を進めるためのスイートの可能性を実証します。

要約(オリジナル)

Bayesian optimization is a powerful method for automating tuning of compilers. The complex landscape of autotuning provides a myriad of rarely considered structural challenges for black-box optimizers, and the lack of standardized benchmarks has limited the study of Bayesian optimization within the domain. To address this, we present CATBench, a comprehensive benchmarking suite that captures the complexities of compiler autotuning, ranging from discrete, conditional, and permutation parameter types to known and unknown binary constraints, as well as both multi-fidelity and multi-objective evaluations. The benchmarks in CATBench span a range of machine learning-oriented computations, from tensor algebra to image processing and clustering, and uses state-of-the-art compilers, such as TACO and RISE/ELEVATE. CATBench offers a unified interface for evaluating Bayesian optimization algorithms, promoting reproducibility and innovation through an easy-to-use, fully containerized setup of both surrogate and real-world compiler optimization tasks. We validate CATBench on several state-of-the-art algorithms, revealing their strengths and weaknesses and demonstrating the suite’s potential for advancing both Bayesian optimization and compiler autotuning research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google