LLM Hallucinations in Practical Code Generation: Phenomena, Mechanism, and Mitigation

要約

コード生成は、入力された要件からコードを自動的に生成し、開発効率を大幅に向上させることを目的としています。
最近の大規模言語モデル (LLM) ベースのアプローチは有望な結果を示し、コード生成タスクに革命をもたらしました。
LLM は、有望なパフォーマンスにもかかわらず、特に実際の開発プロセスで複雑なコンテキスト依存関係の処理が必要なコード生成シナリオの場合、幻覚を伴うコンテンツを生成することがよくあります。
以前の研究では LLM を利用したコード生成における幻覚を分析しましたが、この研究はスタンドアロン関数の生成に限定されています。
この論文では、リポジトリ レベルの生成シナリオにおける、より実践的で複雑な開発コンテキスト内での LLM 幻覚の現象、メカニズム、および軽減方法を研究するための実証研究を実施します。
まず、6 つの主流 LLM からのコード生成結果を手動で調べて、LLM で生成されたコードの幻覚分類を確立します。
次に、幻覚現象について詳しく説明し、さまざまなモデルにわたる幻覚の分布を分析します。
次に、幻覚の原因を分析し、幻覚に寄与する 4 つの潜在的な要因を特定します。
最後に、研究されたすべての LLM で一貫した有効性を実証する、RAG ベースの緩和方法を提案します。
コード、データ、実験結果を含むレプリケーション パッケージは、https://github.com/DeepSoftwareAnalytics/LLMCodingHallucination から入手できます。

要約(オリジナル)

Code generation aims to automatically generate code from input requirements, significantly enhancing development efficiency. Recent large language models (LLMs) based approaches have shown promising results and revolutionized code generation task. Despite the promising performance, LLMs often generate contents with hallucinations, especially for the code generation scenario requiring the handling of complex contextual dependencies in practical development process. Although previous study has analyzed hallucinations in LLM-powered code generation, the study is limited to standalone function generation. In this paper, we conduct an empirical study to study the phenomena, mechanism, and mitigation of LLM hallucinations within more practical and complex development contexts in repository-level generation scenario. First, we manually examine the code generation results from six mainstream LLMs to establish a hallucination taxonomy of LLM-generated code. Next, we elaborate on the phenomenon of hallucinations, analyze their distribution across different models. We then analyze causes of hallucinations and identify four potential factors contributing to hallucinations. Finally, we propose an RAG-based mitigation method, which demonstrates consistent effectiveness in all studied LLMs. The replication package including code, data, and experimental results is available at https://github.com/DeepSoftwareAnalytics/LLMCodingHallucination

arxiv情報

提供元, 利用サービス

arxiv.jp, Google