Glitch Tokens in Large Language Models: Categorization Taxonomy and Effective Detection

要約

さまざまなドメインで大規模言語モデル (LLM) の適用が拡大するにつれて、その予期しない動作とその結果として生じる結果を包括的に調査することが不可欠になっています。
この研究では、確立されたトークナイザーによって生成され、モデルの応答品質を損なう可能性がある異常なトークンである「グリッチ トークン」の現象を紹介し、体系的に調査します。
具体的には、3 つの異なるトークナイザーを利用し、合計 182,517 個のトークンを含む 7 つのトップ人気 LLM を実験しました。
特定されたグリッチ トークンの分類と、グリッチ トークンと相互作用するときに LLM によって示される症状を示します。
グリッチ トークンが埋め込み空間でクラスター化する傾向があるという観察に基づいて、グリッチ トークンを効率的に検出するための新しい反復クラスタリング ベースの手法である GlitchHunter を提案します。
この評価では、私たちのアプローチが 8 つのオープンソース LLM に対する 3 つのベースライン手法よりも顕著に優れていることが示されています。
私たちの知る限り、グリッチ トークンに関する最初の包括的な研究を紹介します。
私たちの新しい検出は、LLM におけるトークン化関連のエラーを軽減するための貴重な洞察をさらに提供します。

要約(オリジナル)

With the expanding application of Large Language Models (LLMs) in various domains, it becomes imperative to comprehensively investigate their unforeseen behaviors and consequent outcomes. In this study, we introduce and systematically explore the phenomenon of ‘glitch tokens’, which are anomalous tokens produced by established tokenizers and could potentially compromise the models’ quality of response. Specifically, we experiment on seven top popular LLMs utilizing three distinct tokenizers and involving a totally of 182,517 tokens. We present categorizations of the identified glitch tokens and symptoms exhibited by LLMs when interacting with glitch tokens. Based on our observation that glitch tokens tend to cluster in the embedding space, we propose GlitchHunter, a novel iterative clustering-based technique, for efficient glitch token detection. The evaluation shows that our approach notably outperforms three baseline methods on eight open-source LLMs. To the best of our knowledge, we present the first comprehensive study on glitch tokens. Our new detection further provides valuable insights into mitigating tokenization-related errors in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google