Information Gravity: A Field-Theoretic Model for Token Selection in Large Language Models

要約

「情報重力」と呼ばれる理論モデルを提案して、大規模な言語モデル（LLM）のテキスト生成プロセスを記述します。
このモデルは、フィールド理論と時空ジオメトリの物理装置を使用して、ユーザークエリと生成されたトークンの確率分布との相互作用を形式化します。
クエリは、モデルのセマンティック空間を曲げる「情報質量」を持つオブジェクトと見なされ、生成中にトークンを「引き付ける」重力潜在井戸を作成します。
このモデルは、幻覚（低密度セマンティックボイドから出現する）、クエリ定式化に対する感度（セマンティックフィールドの曲率変化による）、および出力の多様性に対するサンプリング温度の影響など、LLMの挙動におけるいくつかの観察された現象を説明するメカニズムを提供します。

要約(オリジナル)

We propose a theoretical model called ‘information gravity’ to describe the text generation process in large language models (LLMs). The model uses physical apparatus from field theory and spacetime geometry to formalize the interaction between user queries and the probability distribution of generated tokens. A query is viewed as an object with ‘information mass’ that curves the semantic space of the model, creating gravitational potential wells that ‘attract’ tokens during generation. This model offers a mechanism to explain several observed phenomena in LLM behavior, including hallucinations (emerging from low-density semantic voids), sensitivity to query formulation (due to semantic field curvature changes), and the influence of sampling temperature on output diversity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google