Langevin Multiplicative Weights Update with Applications in Polynomial Portfolio Management

要約

本論文では，非凸最適化問題をシンプレックス（より一般的には，シンプレックスの積）上で考える．本論文では、非ユークリッド幾何に対応するノイズをシンプレクスに加えることで、大域的最適化問題を解くためのアルゴリズム、Langevin Multiplicative Weights Update (LMWU)を提供する。非凸最適化は、ニューラルネットワークの近似やナッシュ均衡の発見など、様々な場面で応用されているため、機械学習コミュニティで広く研究されている。最近、鞍点からの脱出と回避（局所極小への収束）の証明可能な保証や、制約のないランジュバン勾配に基づく手法の大域的収束に関する研究が進んでいるにもかかわらず、制約を伴う大域的最適化に関する研究は少ない。我々は、LMWUアルゴリズムが非漸近的収束解析により、内部の大域的極小値に収束することを証明する。非線形性の高い目的関数の最適化が重要な役割を果たす多項式ポートフォリオ管理の実データを用いて、提案アルゴリズムの効率性を検証する。

要約(オリジナル)

We consider nonconvex optimization problem over simplex, and more generally, a product of simplices. We provide an algorithm, Langevin Multiplicative Weights Update (LMWU) for solving global optimization problems by adding a noise scaling with the non-Euclidean geometry in the simplex. Non-convex optimization has been extensively studied by machine learning community due to its application in various scenarios such as neural network approximation and finding Nash equilibrium. Despite recent progresses on provable guarantee of escaping and avoiding saddle point (convergence to local minima) and global convergence of Langevin gradient based method without constraints, the global optimization with constraints is less studied. We show that LMWU algorithm is provably convergent to interior global minima with a non-asymptotic convergence analysis. We verify the efficiency of the proposed algorithm in real data set from polynomial portfolio management, where optimization of a highly non-linear objective function plays a crucial role.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL