Building Trust in Black-box Optimization: A Comprehensive Framework for Explainability

要約

限られた評価予算内でコストのかかるブラックボックス機能を最適化することは、現実世界の多くのアプリケーションにおいて大きな課題となります。
サロゲート最適化 (SO) は一般的な解決策ですが、サロゲート モデルとサンプリング コア (取得関数など) の複雑さによってもたらされる独自の性質により、説明可能性と透明性の欠如が生じることがよくあります。
既存の文献は主に大域最適への収束を高めることに重点を置いていますが、新しく提案された戦略の実際的な解釈は、特にバッチ評価設定においてはまだ十分に検討されていません。
この論文では、SO アプローチの透明性、信頼性、説明可能性を強化するために設計された、モデルに依存しない包括的なメトリックのセットである \emph{Inclusive} Explainability Metrics for Surrogate Optimization (IEMSO) を提案します。
これらの指標を通じて、信頼を得るために高価な評価を実行する前後の両方で実務者に中間および事後の説明を提供します。
ここでは、サンプリング コア メトリクス、バッチ プロパティ メトリクス、最適化プロセス メトリクス、機能重要度という、SO プロセスの特定の側面をそれぞれ対象とした 4 つの主要なメトリクス カテゴリを検討します。
私たちの実験による評価は、さまざまなベンチマークにわたって提案された指標の大きな可能性を示しています。

要約(オリジナル)

Optimizing costly black-box functions within a constrained evaluation budget presents significant challenges in many real-world applications. Surrogate Optimization (SO) is a common resolution, yet its proprietary nature introduced by the complexity of surrogate models and the sampling core (e.g., acquisition functions) often leads to a lack of explainability and transparency. While existing literature has primarily concentrated on enhancing convergence to global optima, the practical interpretation of newly proposed strategies remains underexplored, especially in batch evaluation settings. In this paper, we propose \emph{Inclusive} Explainability Metrics for Surrogate Optimization (IEMSO), a comprehensive set of model-agnostic metrics designed to enhance the transparency, trustworthiness, and explainability of the SO approaches. Through these metrics, we provide both intermediate and post-hoc explanations to practitioners before and after performing expensive evaluations to gain trust. We consider four primary categories of metrics, each targeting a specific aspect of the SO process: Sampling Core Metrics, Batch Properties Metrics, Optimization Process Metrics, and Feature Importance. Our experimental evaluations demonstrate the significant potential of the proposed metrics across different benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google