Firm or Fickle? Evaluating Large Language Models Consistency in Sequential Interactions

要約

大規模な言語モデル（LLM）は、さまざまなタスクで顕著な機能を示していますが、ハイステークドメインでの展開には、複数の相互作用ラウンドで一貫したパフォーマンスが必要です。
このペーパーでは、LLM応答の一貫性を評価および改善するための包括的なフレームワークを紹介し、3つの重要な貢献をします。
まず、マルチターン相互作用における初期段階の安定性と回復パターンの両方をキャプチャする新しい位置加重一貫性（PWC）スコアを提案します。
第二に、さまざまな挑戦的なフォローアップシナリオの下でLLMの一貫性を評価するために特別に設計された、多様なドメインと難易度レベルにまたがる慎重にキュレーションされたベンチマークデータセットを提示します。
第三に、モデルの信頼シグナルを生成プロセスに組み込むことにより、応答の安定性を大幅に改善するフレームワークである信頼認識応答生成（CARG）を紹介します。
経験的結果は、CARGが精度を犠牲にすることなく応答の安定性を大幅に改善し、重要なアプリケーションでの信頼性の高いLLM展開の可能性を強調することを示しています。

要約(オリジナル)

Large Language Models (LLMs) have shown remarkable capabilities across various tasks, but their deployment in high-stake domains requires consistent performance across multiple interaction rounds. This paper introduces a comprehensive framework for evaluating and improving LLM response consistency, making three key contributions. First, we propose a novel Position-Weighted Consistency (PWC) score that captures both the importance of early-stage stability and recovery patterns in multi-turn interactions. Second, we present a carefully curated benchmark dataset spanning diverse domains and difficulty levels, specifically designed to evaluate LLM consistency under various challenging follow-up scenarios. Third, we introduce Confidence-Aware Response Generation (CARG), a framework that significantly improves response stability by incorporating model confidence signals into the generation process. Empirical results demonstrate that CARG significantly improves response stability without sacrificing accuracy, underscoring its potential for reliable LLM deployment in critical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google