Linear Representation Transferability Hypothesis: Leveraging Small Models to Steer Large Models

要約

類似のデータで訓練された類似のアーキテクチャを持つニューラルネットワークは、学習タスクに関連する共有表現を学習するという仮説がある。我々はこの考えを基に、同じデータで訓練されたモデル間で学習された表現が、基礎特徴の㈰セットの線形結合として表現できるという概念的枠組みを拡張する。これらの基礎特徴は学習課題そのものを基礎付け、スケールに関係なくモデル間で一貫性を保つ。この枠組みから、我々は「異なるモデルの表現空間の間にはアフィン変換が存在する」という仮説を提唱する。この仮説を検証するために、異なるサイズのモデルの隠れ状態間のアフィン・マッピングを学習し、学習されたマッピングを用いて小さな言語モデルから大きな言語モデルへ転送されたときに、ステアリングベクトル（特定のモデルの振る舞いに関連する隠れ状態空間の方向）がその意味的効果を保持するかどうかを評価する。我々は、このようなアフィン・マッピングがステアリング動作を保持できるという強い経験的証拠を発見した。これらの結果は、小さなモデルで学習された表現が、大きなモデルの振る舞いを導くために使用できることを示唆しており、LRT仮説が、モデルのスケールを超えた表現のアライメントを理解する上で有望な方向性を持つ可能性を示している。

要約(オリジナル)

It has been hypothesized that neural networks with similar architectures trained on similar data learn shared representations relevant to the learning task. We build on this idea by extending the conceptual framework where representations learned across models trained on the same data can be expressed as linear combinations of a \emph{universal} set of basis features. These basis features underlie the learning task itself and remain consistent across models, regardless of scale. From this framework, we propose the \textbf{Linear Representation Transferability (LRT)} Hypothesis — that there exists an affine transformation between the representation spaces of different models. To test this hypothesis, we learn affine mappings between the hidden states of models of different sizes and evaluate whether steering vectors — directions in hidden state space associated with specific model behaviors — retain their semantic effect when transferred from small to large language models using the learned mappings. We find strong empirical evidence that such affine mappings can preserve steering behaviors. These findings suggest that representations learned by small models can be used to guide the behavior of large models, and that the LRT hypothesis may be a promising direction on understanding representation alignment across model scales.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL