Shared Imagination: LLMs Hallucinate Alike

要約

最近の大規模言語モデル (LLM) の急増にもかかわらず、そのトレーニング レシピ (モデル アーキテクチャ、事前トレーニング データ、最適化アルゴリズム) は非常に似ていることがよくあります。
これにより、結果として得られるモデル間の類似性に関する疑問が当然生じます。
この論文では、モデルの類似性をよりよく理解するために、新しい設定である架空の質問応答 (IQA) を提案します。
IQA では、あるモデルに純粋に想像上の質問 (物理学における完全にでっち上げられた概念など) を生成するように依頼し、別のモデルに回答を促します。
驚くべきことに、これらの質問は完全に架空のものであるにもかかわらず、すべてのモデルは互いの質問に驚くべき成功を収めて答えることができ、これらのモデルがそのような幻覚の間に機能する「共有想像空間」を示唆しています。
私たちはこの現象について一連の調査を実施し、モデルの均一性、幻覚、および計算上の創造性への影響について議論します。

要約(オリジナル)

Despite the recent proliferation of large language models (LLMs), their training recipes — model architecture, pre-training data and optimization algorithm — are often very similar. This naturally raises the question of the similarity among the resulting models. In this paper, we propose a novel setting, imaginary question answering (IQA), to better understand model similarity. In IQA, we ask one model to generate purely imaginary questions (e.g., on completely made-up concepts in physics) and prompt another model to answer. Surprisingly, despite the total fictionality of these questions, all models can answer each other’s questions with remarkable success, suggesting a ‘shared imagination space’ in which these models operate during such hallucinations. We conduct a series of investigations into this phenomenon and discuss implications on model homogeneity, hallucination, and computational creativity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google