Shakespearean Sparks: The Dance of Hallucination and Creativity in LLMs’ Decoding Layers

要約

大規模な言語モデル（LLM）は、しばしば創造性に関連する現象である幻覚が知られています。
以前の研究は主に理論的または定性的レンズを通じてこのつながりを調査してきましたが、私たちの研究は、LLMの幻覚と創造性の関係を体系的に調べるために定量的なアプローチを採用しています。
創造性の複雑な性質を考えると、LLMSに合わせた狭い定義を提案し、評価フレームワークであるHCLを導入します。これは、デコード中にLLMの異なる層にわたって幻覚と創造性を定量化します。
私たちの経験的分析は、幻覚と創造性のトレードオフを明らかにしており、層の深さ、モデルの種類、モデルサイズを越えて一貫しています。
特に、さまざまなモデルアーキテクチャにわたって、このトレードオフを最適にバランスさせる各モデルサイズの特定のレイヤーを特定します。
さらに、最適な層は、より大きなモデルの初期層に現れる傾向があり、この層ではモデルの信頼性も大幅に高くなっています。
これらの調査結果は、LLMの創造性と幻覚の相互作用に関する新しい洞察を提供する定量的な視点を提供します。
実験のコードとデータは、https：//github.com/ziconghe2002/hcl-sparkで入手できます。

要約(オリジナル)

Large language models (LLMs) are known to hallucinate, a phenomenon often linked to creativity. While previous research has primarily explored this connection through theoretical or qualitative lenses, our work takes a quantitative approach to systematically examine the relationship between hallucination and creativity in LLMs. Given the complex nature of creativity, we propose a narrow definition tailored to LLMs and introduce an evaluation framework, HCL, which quantifies Hallucination and Creativity across different Layers of LLMs during decoding. Our empirical analysis reveals a tradeoff between hallucination and creativity that is consistent across layer depth, model type, and model size. Notably, across different model architectures, we identify a specific layer at each model size that optimally balances this tradeoff. Additionally, the optimal layer tends to appear in the early layers of larger models, and the confidence of the model is also significantly higher at this layer. These findings provide a quantitative perspective that offers new insights into the interplay between LLM creativity and hallucination. The code and data for our experiments are available at https://github.com/ZicongHe2002/HCL-Spark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google