Persistent Topological Features in Large Language Models

要約

大規模な言語モデルの意思決定プロセスを理解することは、広範なアプリケーションを考えると重要です。
これを達成するために、正式な数学的フレームワーク（トポロジーデータ分析からのジグザグの持続性）を、実用的で簡単に適用可能なアルゴリズムと結びつけることを目指しています。
Zigzagの持続性は、モデルレイヤー間で動的に変換されるため、データを特徴付けるのに特に効果的です。
このフレームワーク内で、トポロジー特徴、$ p $ dimensionalの穴が層全体にどのように持続し、進化するかを測定するトポロジー記述子を紹介します。
各レイヤーを個別に評価してから結果を集約する方法とは異なり、私たちのアプローチは、これらの機能の完全な進化パスを直接追跡します。
これにより、プロンプトがどのように再配置され、その相対的な位置が表現空間で変化するかについての統計的な視点が提供され、統合された全体としてのシステムの操作に関する洞察を提供します。
フレームワークの表現性と適用性を実証するために、これらの記述子がさまざまなモデルとさまざまなデータセットにどれほど敏感であるかを強調します。
ダウンストリームタスクへのショーケースアプリケーションとして、Zigzag Persistenceを使用して層剪定の基準を確立し、システムレベルの視点を維持しながら最新の方法に匹敵する結果を達成します。

要約(オリジナル)

Understanding the decision-making processes of large language models is critical given their widespread applications. To achieve this, we aim to connect a formal mathematical framework — zigzag persistence from topological data analysis — with practical and easily applicable algorithms. Zigzag persistence is particularly effective for characterizing data as it dynamically transforms across model layers. Within this framework, we introduce topological descriptors that measure how topological features, $p$-dimensional holes, persist and evolve throughout the layers. Unlike methods that assess each layer individually and then aggregate the results, our approach directly tracks the full evolutionary path of these features. This offers a statistical perspective on how prompts are rearranged and their relative positions changed in the representation space, providing insights into the system’s operation as an integrated whole. To demonstrate the expressivity and applicability of our framework, we highlight how sensitive these descriptors are to different models and a variety of datasets. As a showcase application to a downstream task, we use zigzag persistence to establish a criterion for layer pruning, achieving results comparable to state-of-the-art methods while preserving the system-level perspective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google