MetaCheckGPT — A Multi-task Hallucination Detection Using LLM Uncertainty and Meta-models

要約

この文書では、SemEval-2024 Task 6 コンテストで優勝したソリューションを紹介します。
私たちは、リーダーボードで最高のスコアを達成するモデルの評価と統合のための大規模言語モデル (LLM) のメタリグレッサー フレームワークを提案します。
私たちのアプローチは、LLM のさまざまなバスケットに存在する不確実性信号を利用して、幻覚をより確実に検出します。

要約(オリジナル)

This paper presents our winning solution for the SemEval-2024 Task 6 competition. We propose a meta-regressor framework of large language models (LLMs) for model evaluation and integration that achieves the highest scores on the leader board. Our approach leverages uncertainty signals present in a diverse basket of LLMs to detect hallucinations more robustly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google