Theory of Hallucinations based on Equivariance

要約

等分散性は、言語モデルを含む機械学習における重要な機能です。
これにより、同じ意味を持つ一連のフレーズが一貫して解釈されることが保証されます。
たとえば、「テーブルの上に猫がいます」という文は、トークンレベルの表現の違いに関係なく、言語モデルによってそのまま解釈される必要があります。
この洞察に基づいて、私は言語モデルの等分散性が不十分であると幻覚が起こる可能性があることを示唆する新しい理論を提案します。
直感的かつ斬新なこの理論によれば、比較的小規模なデータセットでトレーニングされた言語モデルは、入力テキストを誤解したり、誤ったテキスト (つまり、幻覚) を生成したりする傾向があります。
この理論を検証するために、私は文字レベルの置換暗号である「ダンシングマン」として知られるおもちゃのモデルを開発しました。
さらに、周波数分析に依存せずにこれらのコードを効率的に解読するための、T5 (Text To Text Transfer Transformer) モデルに基づく新しい手法を提案します。
この T5 モデルは暗号をほぼ完全に解くことができ、このフレーム内で等分散性を取得する能力を実証していることがわかりました。
この方法は、トークナイザーや辞書を持たない大規模な言語モデルと同様に、単語レベルおよび文レベルの置換暗号にスケールアップできます。
この拡張性により、不適切な等分散の取得と幻覚の出現との間の提案された関連性を調査するのに適しています。

要約(オリジナル)

Equivariance is an important feature in machine learning, including language models. It ensures that any sequences of phrases with the same meanings are interpreted consistently. For example, the sentence ‘There is a cat on the table’ should be interpreted by language models as it is, regardless of variations in its token-level expression. Building on this insight, I propose a new theory suggesting that insufficient equivariance in language models can lead to hallucinations. According to this theory, which is both intuitive and novel, language models trained on relatively small datasets tend to misinterpret input texts and/or generate incorrect texts (i.e., hallucinations). To test this theory, I developed a toy model known as ‘dancing men’, which is a character-level substitution cipher. Additionally, I propose a novel technique based on the T5 (Text To Text Transfer Transformer) model to efficiently decipher these codes without relying on frequency analysis. I have found that this T5 model can almost completely solve the cipher, demonstrating its ability to acquire equivariance in this frame. This method could be scaled up to word-level and sentence-level substitution ciphers, analogous to large language models without tokenizers or dictionaries. This scalability makes it suitable for investigating the proposed link between inadequate equivariance acquisition and the emergence of hallucinations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google