Offline Model-Based Optimization: Comprehensive Review

要約

オフラインの最適化は、オフラインデータセットのみを使用してブラックボックス関数を最適化することを目標とする科学と工学の基本的な課題です。
この設定は、目的関数をクエリすることがタンパク質エンジニアリング、材料発見、ニューラルアーキテクチャ検索などにまたがるアプリケーションに及ぶ、非常に高価または実行不可能である場合に特に関連しています。
主な難しさは、利用可能なデータを超えて客観的な状況を正確に推定することにあります。そこでは、外挿には重大な認識論的不確実性が伴います。
この不確実性は、客観的なハッキング（報酬のハッキング）、目に見えない地域のモデルの不正確さの悪用、またはトレーニング分布以外で誤解を招くほど高いパフォーマンスの推定値をもたらすその他の偽の最適化につながる可能性があります。
モデルベースの最適化（MBO）の最近の進歩により、ディープニューラルネットワークの一般化能力を活用して、オフライン固有の代理モデルと生成モデルを開発しています。
慎重に設計された戦略で訓練されたこれらのモデルは、分散型の問題に対してより堅牢であり、改善された設計の発見を促進します。
科学的発見の加速における影響の高まりにもかかわらず、この分野には包括的なレビューがありません。
このギャップを埋めるために、オフラインMBOの最初の徹底的なレビューを提示します。
単一目的および多目的設定の両方の問題を正式に形式化し、最近のベンチマークと評価メトリックを確認することから始めます。
次に、既存のアプローチを2つの重要な領域に分類します。これは、分散領域での正確な関数近似を強調し、高次元設計スペースを探索して高性能設計を特定する生成モデリングを強調します。
最後に、私たちは主要な課題を調べ、この急速に進化する分野での進歩のための有望な方向を提案します。

要約(オリジナル)

Offline optimization is a fundamental challenge in science and engineering, where the goal is to optimize black-box functions using only offline datasets. This setting is particularly relevant when querying the objective function is prohibitively expensive or infeasible, with applications spanning protein engineering, material discovery, neural architecture search, and beyond. The main difficulty lies in accurately estimating the objective landscape beyond the available data, where extrapolations are fraught with significant epistemic uncertainty. This uncertainty can lead to objective hacking(reward hacking), exploiting model inaccuracies in unseen regions, or other spurious optimizations that yield misleadingly high performance estimates outside the training distribution. Recent advances in model-based optimization(MBO) have harnessed the generalization capabilities of deep neural networks to develop offline-specific surrogate and generative models. Trained with carefully designed strategies, these models are more robust against out-of-distribution issues, facilitating the discovery of improved designs. Despite its growing impact in accelerating scientific discovery, the field lacks a comprehensive review. To bridge this gap, we present the first thorough review of offline MBO. We begin by formalizing the problem for both single-objective and multi-objective settings and by reviewing recent benchmarks and evaluation metrics. We then categorize existing approaches into two key areas: surrogate modeling, which emphasizes accurate function approximation in out-of-distribution regions, and generative modeling, which explores high-dimensional design spaces to identify high-performing designs. Finally, we examine the key challenges and propose promising directions for advancement in this rapidly evolving field including safe control of superintelligent systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google