On the Universal Truthfulness Hyperplane Inside LLMs

要約

大規模言語モデル (LLM) はさまざまな分野で優れた能力を実証していますが、幻覚は依然として大きな課題です。
最近の研究では、内部表現のレンズを通して幻覚を調査し、LLM の事実への固執を解読するメカニズムが提案されています。
ただし、これらのアプローチは分布外のデータに一般化できないことが多く、内部表現パターンが基本的な事実認識を反映しているのか、それとも特定のデータセット上の偽の相関のみを過剰適合しているだけなのかという懸念が生じます。
この研究では、モデルの事実上正しい出力と不正確な出力を区別する普遍的真実性超平面がモデル内に存在するかどうかを調査します。
この目的を達成するために、トレーニング データセットの数をスケールアップし、広範な評価を実施します。つまり、40 を超えるデータセットの多様なコレクションで真実性超平面をトレーニングし、そのクロスタスク、クロスドメイン、およびドメイン内一般化を調べます。
私たちの結果は、トレーニング データセットの多様性を高めるとすべてのシナリオでパフォーマンスが大幅に向上する一方で、データ サンプルの量がそれほど重要な役割を果たしていないことを示しています。
この発見は、普遍的真実性超平面が実際にモデル内に存在する可能性があるという楽観的な仮説を裏付け、将来の研究に有望な方向性を提供します。

要約(オリジナル)

While large language models (LLMs) have demonstrated remarkable abilities across various fields, hallucination remains a significant challenge. Recent studies have explored hallucinations through the lens of internal representations, proposing mechanisms to decipher LLMs’ adherence to facts. However, these approaches often fail to generalize to out-of-distribution data, leading to concerns about whether internal representation patterns reflect fundamental factual awareness, or only overfit spurious correlations on the specific datasets. In this work, we investigate whether a universal truthfulness hyperplane that distinguishes the model’s factually correct and incorrect outputs exists within the model. To this end, we scale up the number of training datasets and conduct an extensive evaluation — we train the truthfulness hyperplane on a diverse collection of over 40 datasets and examine its cross-task, cross-domain, and in-domain generalization. Our results indicate that increasing the diversity of the training datasets significantly enhances the performance in all scenarios, while the volume of data samples plays a less critical role. This finding supports the optimistic hypothesis that a universal truthfulness hyperplane may indeed exist within the model, offering promising directions for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google