SaGE: Evaluating Moral Consistency in Large Language Models

要約

会話システムにおける大規模言語モデル (LLM) の優れた機能を示す最近の進歩にも関わらず、最先端の LLM ですらその世代では道徳的に一貫性がなく、その信頼性 (および一般的に信頼性) に疑問があることを示します。
LLM 評価におけるこれまでの研究は、特定のタスクの精度を測定するためのグラウンドトゥルース データの開発に焦点を当てていました。
ただし、普遍的に合意された答えが欠けていることが多い道徳シナリオでは、モデル応答の一貫性が信頼性にとって重要になります。
この問題に対処するために、モデルの道徳的一貫性を測定するための「経験則」(RoT) の概念に基づいたセマンティック グラフ エントロピー (SaGE) と呼ばれる情報理論的尺度を提案します。
RoT はモデルによって学習された抽象的な原則であり、意思決定戦略を効果的に説明するのに役立ちます。
この点で、私たちは 50,000 の道徳的質問、LLM によるそれらへの回答、およびこれらのモデルが従った RoT を含む道徳的一貫性コーパス (MCC) を構築します。
さらに、SaGE の一般化可能性を説明するために、SaGE を使用して、TruthfulQA と HellaSwag という 2 つの一般的なデータセットに対する LLM の一貫性を調査します。
私たちの結果は、タスクの精度と一貫性が独立した問題であり、これらの問題をさらに調査する緊急の必要性があることを明らかにしました。

要約(オリジナル)

Despite recent advancements showcasing the impressive capabilities of Large Language Models (LLMs) in conversational systems, we show that even state-of-the-art LLMs are morally inconsistent in their generations, questioning their reliability (and trustworthiness in general). Prior works in LLM evaluation focus on developing ground-truth data to measure accuracy on specific tasks. However, for moral scenarios that often lack universally agreed-upon answers, consistency in model responses becomes crucial for their reliability. To address this issue, we propose an information-theoretic measure called Semantic Graph Entropy (SaGE), grounded in the concept of ‘Rules of Thumb’ (RoTs) to measure a model’s moral consistency. RoTs are abstract principles learned by a model and can help explain their decision-making strategies effectively. To this extent, we construct the Moral Consistency Corpus (MCC), containing 50K moral questions, responses to them by LLMs, and the RoTs that these models followed. Furthermore, to illustrate the generalizability of SaGE, we use it to investigate LLM consistency on two popular datasets — TruthfulQA and HellaSwag. Our results reveal that task-accuracy and consistency are independent problems, and there is a dire need to investigate these issues further.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google