CheckEmbed: Effective Verification of LLM Solutions to Open-Ended Tasks

要約

大規模言語モデル (LLM) はさまざまな領域に革命をもたらしていますが、その答えを検証することは、特に知識の統合、要約、抽出などの複雑で制限のないタスクにとって依然として大きな課題です。
この研究では、正確でスケーラブルでシンプルな LLM 検証アプローチである CheckEmbed を提案します。
CheckEmbed は、単純かつ強力なアイデアによって推進されています。つまり、LLM ソリューションを相互に比較したり、グラウンドトゥルースと比較したりするために、GPT Text Embedding Large などのモデルで取得された、対応する回答レベルの埋め込みを比較します。
これにより、複雑なテキスト形式の回答が 1 つの埋め込みに削減され、簡単かつ迅速で有意義な検証が容易になります。
私たちは、CheckEmbed 手法を実装した包括的な検証パイプラインを開発します。
CheckEmbed パイプラインには、埋め込みヒートマップとその概要など、LLM の回答の真実性を評価するためのメトリクスも付属しています。
LLM の答えが満足できるものであるかどうかを判断する実用的なエンジンを展開するために、これらのメトリクスを使用する方法を示します。
このパイプラインを用語抽出や文書要約などの実際の文書分析タスクに適用し、BERTScore や BERTScore などの既存のトークン、文、ファクトレベルのスキームと比較して、精度、費用対効果、実行時のパフォーマンスが大幅に向上していることを示しています。
SelfCheckGPT。

要約(オリジナル)

Large Language Models (LLMs) are revolutionizing various domains, yet verifying their answers remains a significant challenge, especially for intricate open-ended tasks such as consolidation, summarization, and extraction of knowledge. In this work, we propose CheckEmbed: an accurate, scalable, and simple LLM verification approach. CheckEmbed is driven by a straightforward yet powerful idea: in order to compare LLM solutions to one another or to the ground-truth, compare their corresponding answer-level embeddings obtained with a model such as GPT Text Embedding Large. This reduces a complex textual answer to a single embedding, facilitating straightforward, fast, and meaningful verification. We develop a comprehensive verification pipeline implementing the CheckEmbed methodology. The CheckEmbed pipeline also comes with metrics for assessing the truthfulness of the LLM answers, such as embedding heatmaps and their summaries. We show how to use these metrics for deploying practical engines that decide whether an LLM answer is satisfactory or not. We apply the pipeline to real-world document analysis tasks, including term extraction and document summarization, showcasing significant improvements in accuracy, cost-effectiveness, and runtime performance compared to existing token-, sentence-, and fact-level schemes such as BERTScore or SelfCheckGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google