Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning

要約

トークン化は、生成 AI のトランスフォーマーベースの大規模言語モデル (LLM) を含む、多くの言語モデルの現在のアーキテクチャ内で必要なコンポーネントですが、モデルの認知への影響はしばしば見落とされます。
我々は、LLMは、分布仮説（DM）が合理的に人間らしい言語パフォーマンスには十分であること、そしてトークン間の人間の意味を持つ言語単位の出現が、特に言語に依存しない既存のトークン化技術における言語情報に基づいた介入を動機付けることを実証していると主張する。
(1) 意味論的なプリミティブ、および (2) 人間の言語から言語に顕著な分布パターンを伝える手段としての役割を尊重する。
モデル。
BPE トークナイザーからのトークン化を調査します。
Hugging Face と tiktoken から得られた既存のモデル語彙。
そして、RoBERTa (大) モデルのレイヤーを移動する際の見本トークン ベクトル内の情報。
最適ではないセマンティック構成要素を作成し、必要な分布パターンへのモデルのアクセスをわかりにくくすることに加えて、トークン化の事前トレーニングがバイアスやその他の不要なコンテンツのバックドアとなり、現在の調整手法では修復できない可能性があることについて説明します。
さらに、主要なシステム インテリジェンスから有意に隔離されているにもかかわらず、トークン化アルゴリズムの目的関数が LLM の認知に影響を与えるという証拠を伝えます。

要約(オリジナル)

Tokenization is a necessary component within the current architecture of many language models, including the transformer-based large language models (LLMs) of Generative AI, yet its impact on the model’s cognition is often overlooked. We argue that LLMs demonstrate that the Distributional Hypothesis (DM) is sufficient for reasonably human-like language performance, and that the emergence of human-meaningful linguistic units among tokens motivates linguistically-informed interventions in existing, linguistically-agnostic tokenization techniques, particularly with respect to their roles as (1) semantic primitives and as (2) vehicles for conveying salient distributional patterns from human language to the model. We explore tokenizations from a BPE tokenizer; extant model vocabularies obtained from Hugging Face and tiktoken; and the information in exemplar token vectors as they move through the layers of a RoBERTa (large) model. Besides creating sub-optimal semantic building blocks and obscuring the model’s access to the necessary distributional patterns, we describe how tokenization pretraining can be a backdoor for bias and other unwanted content, which current alignment practices may not remediate. Additionally, we relay evidence that the tokenization algorithm’s objective function impacts the LLM’s cognition, despite being meaningfully insulated from the main system intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google