Robust Bayesian Satisficing

要約

分布の変化は、現代の機械学習で堅牢性を達成する上で大きな課題となっています。
この課題を克服するために、ロバスト満足 (RS) は、望ましいしきい値を超える効用を達成しながら、不特定の分布シフトに対するロバストな解決策を模索します。
この論文では、コンテキストの真の分布と参照分布の間に不一致がある場合のコンテキスト ベイジアン最適化における RS の問題に焦点を当てます。
我々は、ノイズの多いブラックボックス最適化のために、RoBOSと呼ばれる新しい堅牢なベイジアン充足アルゴリズムを提案します。
私たちのアルゴリズムは、分布シフト量に関する特定の仮定の下で、線形未満の寛大なリグロングを保証します。
さらに、我々は、アルゴリズムが分布シフトの量とは無関係に線形未満の上限を達成する、ロバスト満足満足リグレスと呼ばれる、より弱いリグレス概念を定義します。
私たちの方法の有効性を実証するために、それをさまざまな学習問題に適用し、分布的にロバストな最適化などの他のアプローチと比較します。

要約(オリジナル)

Distributional shifts pose a significant challenge to achieving robustness in contemporary machine learning. To overcome this challenge, robust satisficing (RS) seeks a robust solution to an unspecified distributional shift while achieving a utility above a desired threshold. This paper focuses on the problem of RS in contextual Bayesian optimization when there is a discrepancy between the true and reference distributions of the context. We propose a novel robust Bayesian satisficing algorithm called RoBOS for noisy black-box optimization. Our algorithm guarantees sublinear lenient regret under certain assumptions on the amount of distribution shift. In addition, we define a weaker notion of regret called robust satisficing regret, in which our algorithm achieves a sublinear upper bound independent of the amount of distribution shift. To demonstrate the effectiveness of our method, we apply it to various learning problems and compare it to other approaches, such as distributionally robust optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google