Topological Obstructions and How to Avoid Them

要約

幾何学的帰納的バイアスをモデルに組み込むと、解釈可能性と一般化が容易になりますが、トポロジー的制約が課されるため、特定の幾何学的構造へのエンコードが困難になる場合があります。
この論文では、幾何学的な潜在空間を持つエンコーダのトレーニングに対する障害を理論的および経験的に特徴付けます。
局所最適化は、特異点 (自己交差など) または誤った次数や巻き数によって発生する可能性があることを示します。
次に、多峰性変分分布を定義することで、フローを正規化することでこれらの障害を回避できる可能性があることについて説明します。
この観察に触発されて、私たちはデータ ポイントを幾何学的空間上の多峰性分布にマッピングする新しいフローベースのモデルを提案し、2 つのドメインでモデルを経験的に評価します。
トレーニング中の安定性が向上し、同型エンコーダーに収束する可能性が高くなっていることが観察されています。

要約(オリジナル)

Incorporating geometric inductive biases into models can aid interpretability and generalization, but encoding to a specific geometric structure can be challenging due to the imposed topological constraints. In this paper, we theoretically and empirically characterize obstructions to training encoders with geometric latent spaces. We show that local optima can arise due to singularities (e.g. self-intersection) or due to an incorrect degree or winding number. We then discuss how normalizing flows can potentially circumvent these obstructions by defining multimodal variational distributions. Inspired by this observation, we propose a new flow-based model that maps data points to multimodal distributions over geometric spaces and empirically evaluate our model on 2 domains. We observe improved stability during training and a higher chance of converging to a homeomorphic encoder.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google