Harmonic LLMs are Trustworthy

要約

$\gamma$ で示される調和性からの局所偏差に基づいて、ブラックボックス LLM の堅牢性 (安定性と説明可能性) をリアルタイムでテストする直感的な方法を紹介します。
私たちの知る限り、これは、純粋に数学的標準に準拠するモデル自体に基づいて、LLM からの特定の応答のロバスト性を測定する、完全にモデルに依存せず教師なしの最初の方法です。
我々は人間によるアノテーション実験を行って、$\gamma$ と虚偽または誤解を招く回答との正の相関関係を示し、確率的勾配上昇で $\gamma$ の勾配に従うことで敵対的なプロンプトを効率的に明らかにできることを実証しました。
人気のある LLM (GPT-4、ChatGPT、Claude-2.1、Mixtral-8x7B、Smaug-72B、Llama2-7B、MPT-7B) の何千ものクエリにわたって $\gamma$ を測定することで、誤ったクエリや幻覚の可能性を推定できるようになります。
回答は、さまざまな目的領域 (Web QA、TruthfulQA、およびプログラミング QA) におけるこれらのモデルの信頼性を自動的かつ定量的にランク付けします。
テストされたすべてのモデルとドメインにわたって、人間の評価により $\gamma \to 0$ が信頼性を示すことが確認されており、これらのモデルの中で $\gamma$ が低いリーダーは GPT-4、ChatGPT、および Smaug-72B です。

要約(オリジナル)

We introduce an intuitive method to test the robustness (stability and explainability) of any black-box LLM in real-time, based upon the local deviation from harmoniticity, denoted as $\gamma$. To the best of our knowledge this is the first completely model-agnostic and unsupervised method of measuring the robustness of any given response from an LLM, based upon the model itself conforming to a purely mathematical standard. We conduct human annotation experiments to show the positive correlation of $\gamma$ with false or misleading answers, and demonstrate that following the gradient of $\gamma$ in stochastic gradient ascent efficiently exposes adversarial prompts. Measuring $\gamma$ across thousands of queries in popular LLMs (GPT-4, ChatGPT, Claude-2.1, Mixtral-8x7B, Smaug-72B, Llama2-7B, and MPT-7B) allows us to estimate the liklihood of wrong or hallucinatory answers automatically and quantitatively rank the reliability of these models in various objective domains (Web QA, TruthfulQA, and Programming QA). Across all models and domains tested, human ratings confirm that $\gamma \to 0$ indicates trustworthiness, and the low-$\gamma$ leaders among these models are GPT-4, ChatGPT, and Smaug-72B.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google