The Semantic Hub Hypothesis: Language Models Share Semantic Representations Across Languages and Modalities

要約

最新の言語モデルは、さまざまな言語やモダリティにわたる入力を処理できます。
私たちは、モデルが異種データ型 (異なる言語やモダリティなど) にわたる共有表現空間を学習することでこの機能を獲得し、たとえ異なるモダリティ/言語からのものであっても、意味的に類似した入力を互いに近くに配置すると仮説を立てます。
私たちはこれを意味論的ハブ仮説と呼びます。これは、人間の脳内の意味論的知識が、さまざまなモダリティからの情報を統合するトランスモーダル意味論的「ハブ」を通じて組織化されていると仮定する神経科学のハブアンドスポークモデル (Patterson et al., 2007) に従っています。
– 特定の「スポーク」領域。
まず、異なる言語の意味的に同等の入力のモデル表現が中間層で類似していること、およびこの空間がモデルの主要な事前学習言語を使用してロジット レンズを介して解釈できることを示します。
この傾向は、算術式、コード、ビジュアル/オーディオ入力など、他のデータ型にも当てはまります。
あるデータ型の共有表現空間への介入は、他のデータ型のモデル出力にも予想どおり影響を及ぼします。これは、この共有表現空間が広範なデータに対する大規模トレーニングの単なる痕跡的な副産物ではなく、モデルによって積極的に利用されているものであることを示唆しています。
入力処理中。

要約(オリジナル)

Modern language models can process inputs across diverse languages and modalities. We hypothesize that models acquire this capability through learning a shared representation space across heterogeneous data types (e.g., different languages and modalities), which places semantically similar inputs near one another, even if they are from different modalities/languages. We term this the semantic hub hypothesis, following the hub-and-spoke model from neuroscience (Patterson et al., 2007) which posits that semantic knowledge in the human brain is organized through a transmodal semantic ‘hub’ which integrates information from various modality-specific ‘spokes’ regions. We first show that model representations for semantically equivalent inputs in different languages are similar in the intermediate layers, and that this space can be interpreted using the model’s dominant pretraining language via the logit lens. This tendency extends to other data types, including arithmetic expressions, code, and visual/audio inputs. Interventions in the shared representation space in one data type also predictably affect model outputs in other data types, suggesting that this shared representations space is not simply a vestigial byproduct of large-scale training on broad data, but something that is actively utilized by the model during input processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google