Multi-Objective Hyperparameter Selection via Hypothesis Testing on Reliability Graphs

要約

機密性の高いアプリケーション ドメインでは、多目的のハイパーパラメータを選択することで、補助的なパフォーマンス メトリクスを最適化しながら、導入前に AI モデルの信頼性を確保できます。
最先端のパレート検定 (PT) 手法は、複数の仮説検定フレームワークを採用することで統計的信頼性の制約を保証します。
PT では、期待される信頼性レベルによって決定されるデータ駆動の順序に従って、ハイパーパラメーターが一度に 1 つずつ検証されます。
この論文では、信頼性グラフ (RG) と呼ばれる有向非巡回グラフ (DAG) を使用して、さまざまなハイパーパラメータ構成の信頼性レベル間の相互依存性を捉える、多目的ハイパーパラメータ選択のための新しいフレームワークを紹介します。
RG は、Bradley-Terry モデルを使用して、事前の情報とデータに基づいて構築されます。
提案されたアプローチである RG ベース PT (RG-PT) は、RG を利用して、同じ信頼性レベルで複数のハイパーパラメータの効率的な並列テストを可能にします。
False Discovery Rate (FDR) 制御を統合することで、RG-PT は堅牢な統計的信頼性を保証し、多目的キャリブレーション問題に対して優れたソリューションを一貫して生み出すことが、さまざまなドメインにわたる実験を通じて示されています。

要約(オリジナル)

In sensitive application domains, multi-objective hyperparameter selection can ensure the reliability of AI models prior to deployment, while optimizing auxiliary performance metrics. The state-of-the-art Pareto Testing (PT) method guarantees statistical reliability constraints by adopting a multiple hypothesis testing framework. In PT, hyperparameters are validated one at a time, following a data-driven order determined by expected reliability levels. This paper introduces a novel framework for multi-objective hyperparameter selection that captures the interdependencies among the reliability levels of different hyperparameter configurations using a directed acyclic graph (DAG), which is termed the reliability graph (RG). The RG is constructed based on prior information and data by using the Bradley-Terry model. The proposed approach, RG-based PT (RG-PT), leverages the RG to enable the efficient, parallel testing of multiple hyperparameters at the same reliability level. By integrating False Discovery Rate (FDR) control, RG-PT ensures robust statistical reliability guarantees and is shown via experiments across diverse domains to consistently yield superior solutions for multi-objective calibration problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google