Leveraging Graph Structures to Detect Hallucinations in Large Language Models

要約

大規模な言語モデルは、カスタマーサポート、コンテンツ作成、教育チューター、金融ガイダンスなど、幅広いタスクに広く適用されている。しかし、よく知られている欠点は、幻覚を生成する素因があることです。これは、これらのモデルが提供する情報の信頼性を損ない、意思決定やユーザの信頼に影響を与える。我々は、潜在空間の構造に注目し、幻覚のある世代と幻覚のない世代との関連性を見つけることによって、幻覚を検出する方法を提案する。我々は、埋め込み空間に密接に横たわる世代を結びつけるグラフ構造を作成する。さらに、近隣ノードからの情報を集約するためにメッセージパッシングを利用し、関連性に基づいて各隣接ノードに様々な重要度を割り当てるグラフアテンションネットワークを採用する。その結果、1)潜在空間には幻覚世代と非幻覚世代を区別する構造が存在すること、2)グラフアテンションネットワークはこの構造を学習し、それを未見の世代に一般化できること、3)対照学習を取り入れることで、本手法の頑健性が向上することが示された。エビデンスベースのベンチマークに対して評価したところ、我々のモデルは探索ベースの手法にアクセスしなくても同様の性能を示した。

要約(オリジナル)

Large language models are extensively applied across a wide range of tasks, such as customer support, content creation, educational tutoring, and providing financial guidance. However, a well-known drawback is their predisposition to generate hallucinations. This damages the trustworthiness of the information these models provide, impacting decision-making and user confidence. We propose a method to detect hallucinations by looking at the structure of the latent space and finding associations within hallucinated and non-hallucinated generations. We create a graph structure that connects generations that lie closely in the embedding space. Moreover, we employ a Graph Attention Network which utilizes message passing to aggregate information from neighboring nodes and assigns varying degrees of importance to each neighbor based on their relevance. Our findings show that 1) there exists a structure in the latent space that differentiates between hallucinated and non-hallucinated generations, 2) Graph Attention Networks can learn this structure and generalize it to unseen generations, and 3) the robustness of our method is enhanced when incorporating contrastive learning. When evaluated against evidence-based benchmarks, our model performs similarly without access to search-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL