Linear Spaces of Meanings: Compositional Structures in Vision-Language Models

要約

私たちは、事前にトレーニングされたビジョン言語モデル (VLM) からデータ埋め込みの構成構造を調査します。
伝統的に、構成性は、既存の語彙からの単語の埋め込みに対する代数演算に関連付けられてきました。
対照的に、エンコーダからの表現を、埋め込み空間内のより小さいベクトルのセットの組み合わせとして近似しようとします。
これらのベクトルは、モデルの埋め込み空間内で直接概念を生成するための「理想的な単語」と見なすことができます。
まず、幾何学的観点から構成構造を理解するための枠組みを提示します。
次に、VLM 埋め込みの場合にこれらの構成構造が確率的に何を伴うのかを説明し、実際にこれらの構成構造が生じる理由についての直観を提供します。
最後に、CLIP の埋め込み内のこれらの構造を経験的に調査し、分類、バイアス除去、検索などのさまざまな視覚言語タスクを解決するためのそれらの有用性を評価します。
我々の結果は、埋め込みベクトルに対する単純な線形代数演算が、VLM の動作を制御するための構成的かつ解釈可能な方法として使用できることを示しています。

要約(オリジナル)

We investigate compositional structures in data embeddings from pre-trained vision-language models (VLMs). Traditionally, compositionality has been associated with algebraic operations on embeddings of words from a pre-existing vocabulary. In contrast, we seek to approximate representations from an encoder as combinations of a smaller set of vectors in the embedding space. These vectors can be seen as ‘ideal words’ for generating concepts directly within the embedding space of the model. We first present a framework for understanding compositional structures from a geometric perspective. We then explain what these compositional structures entail probabilistically in the case of VLM embeddings, providing intuitions for why they arise in practice. Finally, we empirically explore these structures in CLIP’s embeddings and we evaluate their usefulness for solving different vision-language tasks such as classification, debiasing, and retrieval. Our results show that simple linear algebraic operations on embedding vectors can be used as compositional and interpretable methods for regulating the behavior of VLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google