VectorAdam for Rotation Equivariant Geometry Optimization

要約

Adam 最適化アルゴリズムは、機械学習全体の最適化問題や、ジオメトリ処理の従来のタスクでさえ、非常に効果的であることが証明されています。
同時に、回転またはその他の変換の作用下で出力を保持する同変法の開発は、これらの領域にわたる幾何学の問題にとって重要であることが証明されています。
この作業では、Adam $-$ が初期条件を最適化された結果 $-$ にマップする関数として扱われる場合、座標ごとのモーメントの更新により、ベクトル値パラメーターの回転同変ではないことがわかります。
これは、実際には重大なアーティファクトとバイアスにつながります。
この欠点を VectorAdam で解決することを提案します。これは、最適化変数のベクトル構造を考慮して Adam を回転同変にする単純な修正です。
機械学習と従来の幾何学的最適化の問題に対するこのアプローチを示し、同変 VectorAdam がベクトル値データに適用された場合に従来の Adam のアーティファクトとバイアスを解決し、収束率が同等またはそれ以上であることを示します。

要約(オリジナル)

The Adam optimization algorithm has proven remarkably effective for optimization problems across machine learning and even traditional tasks in geometry processing. At the same time, the development of equivariant methods, which preserve their output under the action of rotation or some other transformation, has proven to be important for geometry problems across these domains. In this work, we observe that Adam $-$ when treated as a function that maps initial conditions to optimized results $-$ is not rotation equivariant for vector-valued parameters due to per-coordinate moment updates. This leads to significant artifacts and biases in practice. We propose to resolve this deficiency with VectorAdam, a simple modification which makes Adam rotation-equivariant by accounting for the vector structure of optimization variables. We demonstrate this approach on problems in machine learning and traditional geometric optimization, showing that equivariant VectorAdam resolves the artifacts and biases of traditional Adam when applied to vector-valued data, with equivalent or even improved rates of convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google