Relative representations enable zero-shot latent space communication

要約

ニューラル ネットワークは、高次元空間にあるデータ多様体の幾何学的構造を潜在表現に埋め込みます。
理想的には、潜在空間内のデータ ポイントの分布は、タスク、データ、損失、およびその他のアーキテクチャ固有の制約のみに依存する必要があります。
ただし、ランダムな重みの初期化、トレーニング ハイパーパラメーター、またはトレーニング フェーズでのその他のランダム性のソースなどの要因は、あらゆる形態の再利用を妨げる一貫性のない潜在空間を誘発する可能性があります。
それにもかかわらず、同じデータとモデリングの選択の下では、異なる潜在空間内のエンコーディング間の角度は変化しないことが経験的に観察されています。
この作業では、各サンプルとアンカーの固定セットとの間の潜在的な類似性を代替データ表現として提案し、追加のトレーニングなしで目的の不変性を適用できることを示します。
ニューラル アーキテクチャがこれらの相対的な表現を活用して、潜在的なアイソメトリと再スケーリングに対する不変性を実際に保証し、潜在的な空間通信を効果的に可能にする方法を示します。
さまざまなモダリティ（画像、テキスト、グラフ）、タスク（分類、再構成など）、アーキテクチャ（CNN、GCN、トランスフォーマーなど）にまたがるさまざまなデータセットに対するアプローチの一般化機能を広く検証します。

要約(オリジナル)

Neural networks embed the geometric structure of a data manifold lying in a high-dimensional space into latent representations. Ideally, the distribution of the data points in the latent space should depend only on the task, the data, the loss, and other architecture-specific constraints. However, factors such as the random weights initialization, training hyperparameters, or other sources of randomness in the training phase may induce incoherent latent spaces that hinder any form of reuse. Nevertheless, we empirically observe that, under the same data and modeling choices, the angles between the encodings within distinct latent spaces do not change. In this work, we propose the latent similarity between each sample and a fixed set of anchors as an alternative data representation, demonstrating that it can enforce the desired invariances without any additional training. We show how neural architectures can leverage these relative representations to guarantee, in practice, invariance to latent isometries and rescalings, effectively enabling latent space communication: from zero-shot model stitching to latent space comparison between diverse settings. We extensively validate the generalization capability of our approach on different datasets, spanning various modalities (images, text, graphs), tasks (e.g., classification, reconstruction) and architectures (e.g., CNNs, GCNs, transformers).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google