Conflict-Averse Gradient Optimization of Ensembles for Effective Offline Model-Based Optimization

要約

タイトル：有効なオフラインモデルベース最適化のためのアンサンブルの衝突回避勾配最適化

要約：
– データ駆動のオフラインモデルベース最適化(MBO)は、真の目的関数が不明でありクエリが高価な黒箱コンピュータ設計問題に対する実用的なアプローチである。
– ただし、学習済みのプロキシモデルに対して設計を最適化する標準的なアプローチは、分布のシフトに苦しんでいる。
– アンサンブルを単一のモデルの代わりにプロキシとして使用することは、分布のシフトを緩和するのに役立ちますが、最小または平均勾配などの単純なアンサンブル勾配情報の統合方法は、非収束的な動作に妨げられる場合があります。
– この研究では、分布のシフトに強靭でありながら設計の最適性を損なうことなく、アンサンブルから勾配情報を結合するための代替アプローチを探ります。
– 具体的には、最小勾配または平均勾配からの勾配情報の結合などの単純なベースラインアルゴリズムと比較して、MGDAおよびCAGradの2つの関数を評価します。
– 結果は、MGDAおよびCAGradが保守性と最適性の間に理想的なバランスを達成し、最適性を損なうことなくデータ駆動のオフラインMBOを防御的にするのに役立つことを示しています。

要約(オリジナル)

Data-driven offline model-based optimization (MBO) is an established practical approach to black-box computational design problems for which the true objective function is unknown and expensive to query. However, the standard approach which optimizes designs against a learned proxy model of the ground truth objective can suffer from distributional shift. Specifically, in high-dimensional design spaces where valid designs lie on a narrow manifold, the standard approach is susceptible to producing out-of-distribution, invalid designs that ‘fool’ the learned proxy model into outputting a high value. Using an ensemble rather than a single model as the learned proxy can help mitigate distribution shift, but naive formulations for combining gradient information from the ensemble, such as minimum or mean gradient, are still suboptimal and often hampered by non-convergent behavior. In this work, we explore alternate approaches for combining gradient information from the ensemble that are robust to distribution shift without compromising optimality of the produced designs. More specifically, we explore two functions, formulated as convex optimization problems, for combining gradient information: multiple gradient descent algorithm (MGDA) and conflict-averse gradient descent (CAGrad). We evaluate these algorithms on a diverse set of five computational design tasks. We compare performance of ensemble MBO with MGDA and ensemble MBO with CAGrad with three naive baseline algorithms: (a) standard single-model MBO, (b) ensemble MBO with mean gradient, and (c) ensemble MBO with minimum gradient. Our results suggest that MGDA and CAGrad strike a desirable balance between conservatism and optimality and can help robustify data-driven offline MBO without compromising optimality of designs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI