Towards Scalable Topological Regularizers

要約

潜在スペースの特徴の一致分布で構成される潜在スペースマッチングは、敵対的な攻撃や防御、ドメインの適応、生成モデリングなどのタスクにとって重要なコンポーネントです。
ワッサースタインや最大平均の不一致などの確率測定のメトリックは、そのような分布間の違いを定量化するために一般的に使用されます。
ただし、これらはしばしば計算に費用がかかるか、分布の幾何学的およびトポロジー的特徴を適切に考慮しないでください。
永続性相同性は、ポイント雲のマルチスケールトポロジ構造を定量化するトポロジーデータ分析のツールであり、最近、学習タスクのトポロジレガイザーとして使用されています。
ただし、計算コストは​​大規模な計算を排除し、勾配の不連続性は敵対的なタスクなどの不安定なトレーニング行動につながります。
トポロジーレガイザーとして、多数の小さなサブサンプルの持続性相同性を計算することに基づいて、主要な持続性測定の使用を提案します。
この正規者の並列化されたGPU実装を提供し、勾配が滑らかな密度のために連続的であることを証明します。
さらに、形状のマッチング、画像生成、半監視学習タスクに対するこの正規者の有効性を示し、トポロジー特徴のためにスケーラブルな正規者に向けて扉を開きます。

要約(オリジナル)

Latent space matching, which consists of matching distributions of features in latent space, is a crucial component for tasks such as adversarial attacks and defenses, domain adaptation, and generative modelling. Metrics for probability measures, such as Wasserstein and maximum mean discrepancy, are commonly used to quantify the differences between such distributions. However, these are often costly to compute, or do not appropriately take the geometric and topological features of the distributions into consideration. Persistent homology is a tool from topological data analysis which quantifies the multi-scale topological structure of point clouds, and has recently been used as a topological regularizer in learning tasks. However, computation costs preclude larger scale computations, and discontinuities in the gradient lead to unstable training behavior such as in adversarial tasks. We propose the use of principal persistence measures, based on computing the persistent homology of a large number of small subsamples, as a topological regularizer. We provide a parallelized GPU implementation of this regularizer, and prove that gradients are continuous for smooth densities. Furthermore, we demonstrate the efficacy of this regularizer on shape matching, image generation, and semi-supervised learning tasks, opening the door towards a scalable regularizer for topological features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google