Sigma Flows for Image and Data Labeling and Learning Structured Prediction

要約

この論文では、特別な場合としてユークリッド画像領域を含む、リーマン多様体で観察されるデータの構造化ラベル付けを予測するためのシグマ フロー モデルを紹介します。
このアプローチは、約 25 年前に Sochen、Kimmel、Malladi によって導入された画像のノイズ除去と強調のための Laplace-Beltrami フレームワークと、著者らが導入および研究した割り当てフロー アプローチを組み合わせたものです。
シグマ流は一般化調和エネルギーのリーマン勾配流として発生するため、情報幾何学からのフィッシャー・ラオ計量を備えた、閉じたリーマン領域多様体から統計的多様体への調和マップを決定する非線形幾何偏微分方程式によって支配されます。
シグマ フローの特定の要素は、進化する状態に対する領域多様体のリーマン計量の相互依存性です。
データから学習できるコンパクトな時変パラメータ化によるマッピングを通じてこの依存関係を実現することで、このアプローチは特定の方法で機械学習に適したものになります。
概念実証実験により、シグマ フロー モデルの表現力と予測パフォーマンスが実証されます。
変圧器ネットワーク アーキテクチャとシグマ フローの幾何学的統合によって生成されるネットワークとの構造的類似性が指摘されており、これは深層学習との関連性を強調しており、逆に、科学機械学習の他の分野における構造化予測のための幾何学的設計原理の使用を刺激する可能性があります。

要約(オリジナル)

This paper introduces the sigma flow model for the prediction of structured labelings of data observed on Riemannian manifolds, including Euclidean image domains as special case. The approach combines the Laplace-Beltrami framework for image denoising and enhancement, introduced by Sochen, Kimmel and Malladi about 25 years ago, and the assignment flow approach introduced and studied by the authors. The sigma flow arises as Riemannian gradient flow of generalized harmonic energies and thus is governed by a nonlinear geometric PDE which determines a harmonic map from a closed Riemannian domain manifold to a statistical manifold, equipped with the Fisher-Rao metric from information geometry. A specific ingredient of the sigma flow is the mutual dependency of the Riemannian metric of the domain manifold on the evolving state. This makes the approach amenable to machine learning in a specific way, by realizing this dependency through a mapping with compact time-variant parametrization that can be learned from data. Proof of concept experiments demonstrate the expressivity of the sigma flow model and prediction performance. Structural similarities to transformer network architectures and networks generated by the geometric integration of sigma flows are pointed out, which highlights the connection to deep learning and, conversely, may stimulate the use of geometric design principles for structured prediction in other areas of scientific machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google