Discovering Universal Geometry in Embeddings with ICA

要約

この研究では、独立成分分析 (ICA) を使用して、単語または画像の埋め込みの普遍的な特性を明らかにしました。
私たちのアプローチは、エンベディングの独立した意味論的コンポーネントを抽出し、各エンベディングを固有の解釈可能な軸の構成として表現できるようにします。
我々は、埋め込みがいくつかの軸の組み合わせとして表現できること、そしてこれらの意味論的な軸がさまざまな言語、モダリティ、埋め込みアルゴリズムにわたって一貫していることを実証します。
埋め込みにおける普遍的な特性のこの発見は、モデルの解釈可能性に貢献し、高度に解釈可能なモデルの開発と大規模モデルの圧縮を潜在的に促進します。

要約(オリジナル)

This study employs Independent Component Analysis (ICA) to uncover universal properties of embeddings of words or images. Our approach extracts independent semantic components of embeddings, enabling each embedding to be represented as a composition of intrinsic interpretable axes. We demonstrate that embeddings can be expressed as a combination of a few axes and that these semantic axes are consistent across different languages, modalities, and embedding algorithms. This discovery of universal properties in embeddings contributes to model interpretability, potentially facilitating the development of highly interpretable models and the compression of large-scale models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google