Can LLMs Detect Intrinsic Hallucinations in Paraphrasing and Machine Translation?

要約

LLMSで頻繁に観察される問題は、無意味、非論理的、または事実上不正確な出力を生成する傾向であり、しばしば幻覚と呼ばれることが多いことです。
幻覚検出と生成のために最近提案された幻覚課題に基づいて、翻訳と言い換えという2つの条件付き生成タスクで内因性の幻覚を検出する能力について、オープンアクセスLLMSのスイートを評価します。
モデルのパフォーマンスがタスクと言語によってどのように変化するかを研究し、モデルサイズ、命令調整、および迅速な選択の影響を調査します。
パフォーマンスはモデル間で異なるが、プロンプト間で一貫していることがわかっています。
最後に、NLIモデルは同等のパフォーマンスを発揮し、LLMベースの検出器がこの特定のタスクに対して唯一の実行可能なオプションではないことを示唆しています。

要約(オリジナル)

A frequently observed problem with LLMs is their tendency to generate output that is nonsensical, illogical, or factually incorrect, often referred to broadly as hallucination. Building on the recently proposed HalluciGen task for hallucination detection and generation, we evaluate a suite of open-access LLMs on their ability to detect intrinsic hallucinations in two conditional generation tasks: translation and paraphrasing. We study how model performance varies across tasks and language and we investigate the impact of model size, instruction tuning, and prompt choice. We find that performance varies across models but is consistent across prompts. Finally, we find that NLI models perform comparably well, suggesting that LLM-based detectors are not the only viable option for this specific task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google