Robust Hyperbolic Learning with Curvature-Aware Optimization

要約

双曲面深層学習は、代替埋め込み空間によって与えられるユニークな特性のため、コンピュータビジョンにおける研究の方向性が高まっている。負の曲率と指数関数的に成長する距離メトリックは、データポイント間の階層的関係を捕捉し、それらの埋め込み間のより細かい分離可能性を可能にするための自然なフレームワークを提供する。しかしながら、現在の双曲線学習アプローチは、オーバーフィッティングを起こしやすく、計算コストが高く、特にタスクや異なるデータセットに適応するために多様体の曲率を学習しようとすると不安定になりやすい。これらの問題に対処するため、本稿では双曲線の汎化能力を高めるのに役立つリーマンAdamWの導出を示す。安定性を向上させるために、双曲面埋め込みを制約し、近似誤差を減少させる新しい微調整可能な双曲面スケーリングアプローチを導入する。これをローレンツ最適化器の曲率を考慮した学習スキーマと併用することで、曲率と非自明化双曲線パラメータ学習の組み合わせが可能になる。我々のアプローチは、コンピュータビジョン、EEG分類、および階層的メトリック学習タスクにおいて、一貫した性能向上を示し、2つのドメインにおいて最先端の結果を達成し、実行時間を大幅に短縮した。

要約(オリジナル)

Hyperbolic deep learning has become a growing research direction in computer vision due to the unique properties afforded by the alternate embedding space. The negative curvature and exponentially growing distance metric provide a natural framework for capturing hierarchical relationships between datapoints and allowing for finer separability between their embeddings. However, current hyperbolic learning approaches are still prone to overfitting, computationally expensive, and prone to instability, especially when attempting to learn the manifold curvature to adapt to tasks and different datasets. To address these issues, our paper presents a derivation for Riemannian AdamW that helps increase hyperbolic generalization ability. For improved stability, we introduce a novel fine-tunable hyperbolic scaling approach to constrain hyperbolic embeddings and reduce approximation errors. Using this along with our curvature-aware learning schema for Lorentzian Optimizers enables the combination of curvature and non-trivialized hyperbolic parameter learning. Our approach demonstrates consistent performance improvements across Computer Vision, EEG classification, and hierarchical metric learning tasks achieving state-of-the-art results in two domains and drastically reducing runtime.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL