Dynamic Vocabulary Pruning in Early-Exit LLMs

要約

大規模言語モデル (LLM) のサイズを増やすと、パフォーマンスが向上することが示されています。
ただし、これには推論が遅くなり、コストも高くなります。
早期終了は、中間層で次のトークンの予測を可能にすることで、LLM 推論の効率を向上させる有望なアプローチです。
しかし、最新の LLM では語彙サイズが大きいため、終了の決定に必要な信頼度の推定に計算コストがかかり、効率の向上が減少します。
これに対処するために、テスト時に各トークンの語彙を動的に枝刈りすることを提案します。
具体的には、語彙は最初の層の 1 つで枝刈りされ、より小さい語彙が残りの順方向パス全体で使用されます。
私たちの実験は、このような事後的な動的語彙枝刈りが、競争力のあるパフォーマンスを維持しながら、早期終了 LLM の信頼推定の効率を向上させることを示しています。

要約(オリジナル)

Increasing the size of large language models (LLMs) has been shown to lead to better performance. However, this comes at the cost of slower and more expensive inference. Early-exiting is a promising approach for improving the efficiency of LLM inference by enabling next token prediction at intermediate layers. Yet, the large vocabulary size in modern LLMs makes the confidence estimation required for exit decisions computationally expensive, diminishing the efficiency gains. To address this, we propose dynamically pruning the vocabulary at test time for each token. Specifically, the vocabulary is pruned at one of the initial layers, and the smaller vocabulary is then used throughout the rest of the forward pass. Our experiments demonstrate that such post-hoc dynamic vocabulary pruning improves the efficiency of confidence estimation in early-exit LLMs while maintaining competitive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google