Vector Optimization with Gaussian Process Bandits

要約

複数の相反する目的を同時に考慮しなければならない学習問題は、工学、薬品設計、環境管理など様々な分野でしばしば発生する。複数のブラックボックス目的関数を扱うための従来の手法、例えばスカラ化や成分的順序の下でのパレート集合の同定は、目的嗜好を取り入れ、それに応じて解空間を探索するには限界がある。ベクトル最適化は、順序付けコーンに基づく部分順序を指定することにより、柔軟性と適応性を向上させるが、逐次実験用に設計された現在の技術は、高いサンプル複雑性に悩まされるか、理論的保証に欠ける。これらの問題に対処するために、我々は、ガウス過程バンディットを用いてブラックボックスベクトル最適化を実行する、おそらく近似的に正しい適応的消去アルゴリズムである、ガウス過程によるベクトル最適化（VOGP）を提案する。VOGPは、目的関数の滑らかさを利用することにより効率的なサンプリングを実行しながら、ユーザーが順序付け円錐を通して目的選好を伝えることを可能にし、より少ない評価回数でより効果的な最適化プロセスを実現する。我々はVOGPの理論的保証を確立し、情報利得ベースとカーネル固有のサンプル複雑さの境界を導出する。また、実世界と合成データセットの両方で実験を行い、VOGPを最先端の手法と比較する。

要約(オリジナル)

Learning problems in which multiple conflicting objectives must be considered simultaneously often arise in various fields, including engineering, drug design, and environmental management. Traditional methods for dealing with multiple black-box objective functions, such as scalarization and identification of the Pareto set under the componentwise order, have limitations in incorporating objective preferences and exploring the solution space accordingly. While vector optimization offers improved flexibility and adaptability via specifying partial orders based on ordering cones, current techniques designed for sequential experiments either suffer from high sample complexity or lack theoretical guarantees. To address these issues, we propose Vector Optimization with Gaussian Process (VOGP), a probably approximately correct adaptive elimination algorithm that performs black-box vector optimization using Gaussian process bandits. VOGP allows users to convey objective preferences through ordering cones while performing efficient sampling by exploiting the smoothness of the objective function, resulting in a more effective optimization process that requires fewer evaluations. We establish theoretical guarantees for VOGP and derive information gain-based and kernel-specific sample complexity bounds. We also conduct experiments on both real-world and synthetic datasets to compare VOGP with the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL