Topologically Regularized Data Embeddings

要約

教師なし表現学習手法は、高次元の非構造化データまたは構造化データについての洞察を得るために広く使用されています。
場合によっては、ユーザーは、既知のクラスター構造や、データがツリー構造またはグラフ構造のトポロジーに沿って存在することが知られているという事実など、データに関する事前のトポロジー知識を持っている場合があります。
しかし、そのような構造が低次元表現で顕著であることを保証するための一般的な方法が不足しています。
これは、低次元の埋め込みの解釈可能性、およびおそらく下流の学習タスクに悪影響を及ぼします。
この問題に対処するために、トポロジカル正則化を導入します。これは、トポロジカルな事前知識を低次元の埋め込みに組み込む代数トポロジに基づく一般的なアプローチです。
我々は、トポロジカル損失関数のクラスを導入し、正則化器のようなトポロジカル損失関数を使用して埋め込み損失を共同最適化すると、局所的近接性だけでなく、目的のトポロジカル構造も反映する埋め込みが得られることを示します。
代数トポロジーに必要な基本概念の自己完結型の概要が含まれており、クラスター、サイクル、分岐などのさまざまな形状のトポロジー損失関数を設計する方法についての直感的なガイダンスを提供します。
線形および非線形の次元削減およびグラフ埋め込み手法と組み合わせて、計算効率、堅牢性、多用途性に関して提案されたアプローチを経験的に評価します。

要約(オリジナル)

Unsupervised representation learning methods are widely used for gaining insight into high-dimensional, unstructured, or structured data. In some cases, users may have prior topological knowledge about the data, such as a known cluster structure or the fact that the data is known to lie along a tree- or graph-structured topology. However, generic methods to ensure such structure is salient in the low-dimensional representations are lacking. This negatively impacts the interpretability of low-dimensional embeddings, and plausibly downstream learning tasks. To address this issue, we introduce topological regularization: a generic approach based on algebraic topology to incorporate topological prior knowledge into low-dimensional embeddings. We introduce a class of topological loss functions, and show that jointly optimizing an embedding loss with such a topological loss function as a regularizer yields embeddings that reflect not only local proximities but also the desired topological structure. We include a self-contained overview of the required foundational concepts in algebraic topology, and provide intuitive guidance on how to design topological loss functions for a variety of shapes, such as clusters, cycles, and bifurcations. We empirically evaluate the proposed approach on computational efficiency, robustness, and versatility in combination with linear and non-linear dimensionality reduction and graph embedding methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google