Quantile Learn-Then-Test: Quantile-Based Risk Control for Hyperparameter Optimization

要約

エンジニアリング問題における人工知能 (AI) の採用が増加しているため、堅牢な統計的信頼性を保証できる校正方法の開発が求められています。
ブラック ボックス AI モデルのキャリブレーションは、アーキテクチャ、最適化、および/または推論構成を決定するハイパーパラメーターの最適化によって実行されます。
これまでの研究では、平均パフォーマンス測定値の統計的保証を提供するハイパーパラメータ最適化 (HPO) の調整手順である学習後テスト (LTT) が導入されました。
エンジニアリングの文脈においてリスクを意識した目標を制御することの重要性を認識し、この研究では、リスク尺度の分位数について統計的保証を提供するように設計された LTT の変形を導入します。
提案されたアルゴリズムを無線アクセス スケジューリング問題に適用することにより、このアプローチの実際的な利点を説明します。

要約(オリジナル)

The increasing adoption of Artificial Intelligence (AI) in engineering problems calls for the development of calibration methods capable of offering robust statistical reliability guarantees. The calibration of black box AI models is carried out via the optimization of hyperparameters dictating architecture, optimization, and/or inference configuration. Prior work has introduced learn-then-test (LTT), a calibration procedure for hyperparameter optimization (HPO) that provides statistical guarantees on average performance measures. Recognizing the importance of controlling risk-aware objectives in engineering contexts, this work introduces a variant of LTT that is designed to provide statistical guarantees on quantiles of a risk measure. We illustrate the practical advantages of this approach by applying the proposed algorithm to a radio access scheduling problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google