Theory of Hallucinations based on Equivariance

要約

本研究の目的は、幻覚を起こさない超大規模言語モデルを作成するための知識を得ることである。現代の大規模言語モデルにおける幻覚は、現実世界の社会的関係の誤解に起因することが多い。そこで、このような関係性を徹底的に把握することができる超大規模言語モデルは、幻覚とは無縁であるという仮説を立てる。さらに、ある種の等変量言語モデルは、これらの関係を学習し理解することに長けていることを提案する。これに基づき、私は特殊なクロスエントロピー誤差関数を開発し、言語モデルの幻覚スケールを作成した。この尺度を用いて、言語モデルが文字レベルの等価性を獲得する能力をテストした。特に、トークンID（整数）をテキスト（文字列）に変換するための明示的な辞書を必要とせず、並べ替えられた入力テキストを効率的に理解するT5（Text To Text Transfer Transformer）に基づく新しい手法を導入し、採用した。このT5モデルは、文字レベルの均等性を獲得する中程度の能力を示した。さらに、文字レベルでの幻覚のない言語モデルの開発に役立つスケール法則を発見した。この方法論は、単語レベルでの等価性獲得の評価に拡張することができ、関係を包括的に理解し、結果として幻覚を回避できる非常に大規模な言語モデルへの道を開くことができる。

要約(オリジナル)

This study aims to acquire knowledge for creating very large language models that are immune to hallucinations. Hallucinations in contemporary large language models are often attributed to a misunderstanding of real-world social relationships. Therefore, I hypothesize that very large language models capable of thoroughly grasping all these relationships will be free from hallucinations. Additionally, I propose that certain types of equivariant language models are adept at learning and understanding these relationships. Building on this, I have developed a specialized cross-entropy error function to create a hallucination scale for language models, which measures their extent of equivariance acquisition. Utilizing this scale, I tested language models for their ability to acquire character-level equivariance. In particular, I introduce and employ a novel technique based on T5 (Text To Text Transfer Transformer) that efficiently understands permuted input texts without the need for explicit dictionaries to convert token IDs (integers) to texts (strings). This T5 model demonstrated a moderate ability to acquire character-level equivariance. Additionally, I discovered scale laws that can aid in developing hallucination-free language models at the character level. This methodology can be extended to assess equivariance acquisition at the word level, paving the way for very large language models that can comprehensively understand relationships and, consequently, avoid hallucinations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL