HausaNLP at SemEval-2025 Task 3: Towards a Fine-Grained Model-Aware Hallucination Detection

要約

このホワイトペーパーでは、幻覚と関連する観察可能な過剰な過剰発生ミスに関する多言語共有タスクの調査結果を紹介します。MU-Shroomは、大規模な言語モデル（LLMS）の幻覚と関連する過剰発生エラーを特定することに焦点を当てています。
共有タスクには、14の言語でLLMによって生成された出力の幻覚を構成する特定のテキストスパンを検出することが含まれます。
このタスクに対処するために、英語の幻覚と重大度について、微妙でモデル意識のある理解を提供することを目指しています。
400のサンプルの合成データセットを使用して、自然言語の推論を使用し、Modernbertモデルを微調整し、組合（IOU）スコアを0.032と0.422の相関スコアよりも交差点を達成しました。
これらの結果は、モデルの信頼性スコアと幻覚の実際の存在との間に適度に正の相関があることを示しています。
IOUスコアは、私たちのモデルが予測された幻覚スパンと真実の注釈との間に比較的低い重複を持っていることを示しています。
幻覚検出の複雑な性質を考えると、パフォーマンスは驚くことではありません。
幻覚はしばしば微妙に現れ、文脈に依存して、正確な境界を手ごわいことを特定します。

要約(オリジナル)

This paper presents our findings of the Multilingual Shared Task on Hallucinations and Related Observable Overgeneration Mistakes, MU-SHROOM, which focuses on identifying hallucinations and related overgeneration errors in large language models (LLMs). The shared task involves detecting specific text spans that constitute hallucinations in the outputs generated by LLMs in 14 languages. To address this task, we aim to provide a nuanced, model-aware understanding of hallucination occurrences and severity in English. We used natural language inference and fine-tuned a ModernBERT model using a synthetic dataset of 400 samples, achieving an Intersection over Union (IoU) score of 0.032 and a correlation score of 0.422. These results indicate a moderately positive correlation between the model’s confidence scores and the actual presence of hallucinations. The IoU score indicates that our model has a relatively low overlap between the predicted hallucination span and the truth annotation. The performance is unsurprising, given the intricate nature of hallucination detection. Hallucinations often manifest subtly, relying on context, making pinpointing their exact boundaries formidable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google