VERITAS: A Unified Approach to Reliability Evaluation

要約

大規模言語モデル (LLM) は、コンテキストから情報を合成して正確な応答を生成できないことがよくあります。
そのため、出力の信頼性が重要な知識集約型の設定では信頼性が低くなります。
信頼性の高い LLM の重要なコンポーネントは、さまざまな形式の幻覚を検出できる堅牢な事実確認システムの統合です。
いくつかのオープンアクセスのファクトチェックモデルが利用可能ですが、その機能は根拠のある質問回答や含意検証などの特定のタスクに限定されていることが多く、会話環境ではあまり効果的に機能しません。
一方、GPT-4 や Claude のようなクローズドアクセス モデルは、根拠のある対話検証を含む、さまざまなコンテキストにわたって優れた柔軟性を提供しますが、高コストと遅延によって妨げられます。
この研究では、遅延とコストを最小限に抑えながら、さまざまなコンテキストにわたって柔軟に動作するように設計された幻覚検出モデルのファミリーである VERITAS を紹介します。
ベリタスは、すべての主要な幻覚検出ベンチマークで平均パフォーマンスを考慮した最先端の結果を達成し、同様のサイズのモデルと比較した場合、平均パフォーマンスが $10\%$ 向上し、LLM を使用した GPT4 ターボのパフォーマンスに近づきました。
a-judge設定。

要約(オリジナル)

Large language models (LLMs) often fail to synthesize information from their context to generate an accurate response. This renders them unreliable in knowledge intensive settings where reliability of the output is key. A critical component for reliable LLMs is the integration of a robust fact-checking system that can detect hallucinations across various formats. While several open-access fact-checking models are available, their functionality is often limited to specific tasks, such as grounded question-answering or entailment verification, and they perform less effectively in conversational settings. On the other hand, closed-access models like GPT-4 and Claude offer greater flexibility across different contexts, including grounded dialogue verification, but are hindered by high costs and latency. In this work, we introduce VERITAS, a family of hallucination detection models designed to operate flexibly across diverse contexts while minimizing latency and costs. VERITAS achieves state-of-the-art results considering average performance on all major hallucination detection benchmarks, with $10\%$ increase in average performance when compared to similar-sized models and get close to the performance of GPT4 turbo with LLM-as-a-judge setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google