Inference-Time Intervention: Eliciting Truthful Answers from a Language Model

要約

大規模言語モデル (LLM) の「真実性」を強化するために設計された手法である推論時間介入 (ITI) を紹介します。
ITI は、限られた数のアテンション ヘッド全体にわたる一連の指示に従って、推論中にモデルのアクティベーションをシフトすることによって動作します。
この介入により、TruthfulQA ベンチマークにおける LLaMA モデルのパフォーマンスが大幅に向上します。
Alpaca と呼ばれる命令を微調整した LLaMA では、ITI はその真実性を 32.5% から 65.1% に向上させました。
真実性と有用性の間のトレードオフを特定し、介入の強さを調整することでバランスをとる方法を示します。
ITI は侵襲性が最小限であり、計算コストも安価です。
さらに、この手法はデータ効率が高く、RLHF のようなアプローチでは広範な注釈が必要ですが、ITI はわずか数百の例を使用して真実の方向を特定します。
私たちの調査結果は、LLM は表面上は虚偽を生み出しながらも、何かが真実である可能性を内部的に表現している可能性があることを示唆しています。

要約(オリジナル)

We introduce Inference-Time Intervention (ITI), a technique designed to enhance the ‘truthfulness’ of large language models (LLMs). ITI operates by shifting model activations during inference, following a set of directions across a limited number of attention heads. This intervention significantly improves the performance of LLaMA models on the TruthfulQA benchmark. On an instruction-finetuned LLaMA called Alpaca, ITI improves its truthfulness from 32.5% to 65.1%. We identify a tradeoff between truthfulness and helpfulness and demonstrate how to balance it by tuning the intervention strength. ITI is minimally invasive and computationally inexpensive. Moreover, the technique is data efficient: while approaches like RLHF require extensive annotations, ITI locates truthful directions using only few hundred examples. Our findings suggest that LLMs may have an internal representation of the likelihood of something being true, even as they produce falsehoods on the surface.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google