Benchmarking Mental State Representations in Language Models

要約

心の理論による推論を必要とするタスクに対する言語モデル (LM) の生成パフォーマンスは多くの研究で評価されていますが、モデルの精神状態の内部表現に関する研究は依然として限られています。
最近の研究では、LM が自分自身や他人の信念を表現できることを実証するために、調査が行われています。
ただし、これらの主張には限定的な評価が伴うため、精神状態の表現がモデルの設計やトレーニングの選択によってどのような影響を受けるかを評価することが困難になります。
さまざまなモデルサイズ、微調整アプローチ、プローブ内の精神状態表現と記憶の問題の堅牢性を研究するためのプロンプト設計を備えたさまざまな LM タイプを使用した広範なベンチマークを報告します。
私たちの結果は、他人の信念のモデルの内部表現の品質が、モデルのサイズとともに、そしてより重要なことに、微調整によって向上することを示しています。
私たちは、プロンプト変動が心の理論タスクの探索パフォーマンスにどのような影響を与えるかを研究した最初の研究者です。
私たちは、モデルの表現が、たとえそのような変化が有益であるはずの場合でも、プロンプトの変化に敏感であることを実証します。
最後に、心の理論タスクに関する以前の活性化編集実験を補完し、プローブをトレーニングすることなくモデルの活性化を操作することでモデルの推論パフォーマンスを向上できることを示します。

要約(オリジナル)

While numerous works have assessed the generative performance of language models (LMs) on tasks requiring Theory of Mind reasoning, research into the models’ internal representation of mental states remains limited. Recent work has used probing to demonstrate that LMs can represent beliefs of themselves and others. However, these claims are accompanied by limited evaluation, making it difficult to assess how mental state representations are affected by model design and training choices. We report an extensive benchmark with various LM types with different model sizes, fine-tuning approaches, and prompt designs to study the robustness of mental state representations and memorisation issues within the probes. Our results show that the quality of models’ internal representations of the beliefs of others increases with model size and, more crucially, with fine-tuning. We are the first to study how prompt variations impact probing performance on theory of mind tasks. We demonstrate that models’ representations are sensitive to prompt variations, even when such variations should be beneficial. Finally, we complement previous activation editing experiments on Theory of Mind tasks and show that it is possible to improve models’ reasoning performance by steering their activations without the need to train any probe.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google