Towards Measuring Representational Similarity of Large Language Models

要約

リリースされている多数のラージ言語モデル (LLM) の類似性を理解することには、モデルの選択を簡素化し、違法なモデルの再利用を検出し、LLM のパフォーマンスを向上させる要因についての理解を進めるなど、多くの用途があります。
この研究では、7B パラメータを使用して LLM のセットの表現の類似性を測定します。
私たちの結果は、一部の LLM が他の LLM とは大きく異なることを示唆しています。
私たちは、誤った結論を避けるために類似性スコアを注意深く研究する必要があることを示唆する、表現的類似性尺度を使用する際の課題を特定します。

要約(オリジナル)

Understanding the similarity of the numerous released large language models (LLMs) has many uses, e.g., simplifying model selection, detecting illegal model reuse, and advancing our understanding of what makes LLMs perform well. In this work, we measure the similarity of representations of a set of LLMs with 7B parameters. Our results suggest that some LLMs are substantially different from others. We identify challenges of using representational similarity measures that suggest the need of careful study of similarity scores to avoid false conclusions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google