Reasoning or Reciting? Exploring the Capabilities and Limitations of Language Models Through Counterfactual Tasks

要約

幅広いタスクにわたる最近の言語モデルの優れたパフォーマンスは、言語モデルがある程度の抽象的な推論スキルを備えていることを示唆しています。
これらのスキルは一般的で移転可能ですか、それとも事前トレーニング中に見られる特定のタスクに特化したものですか?
これらの影響を解きほぐすために、標準タスクの基礎となるデフォルトの仮定から逸脱する「反事実」タスクのバリアントに基づいた評価フレームワークを提案します。
11 個のタスクからなる一連のタスク全体で、反事実のバリアントで自明ではないパフォーマンスが観察されましたが、それでも、デフォルト条件と比較してパフォーマンスが大幅かつ一貫して低下していることがわかりました。
これは、現在の LM がある程度の抽象的なタスク解決スキルを持っている一方で、タスク解決のために狭い、譲渡不可能な手順に依存していることが多いことを示唆しています。
これらの結果は、言語モデルのパフォーマンスをより注意深く解釈し、動作のこれらの側面を区別する動機付けになります。

要約(オリジナル)

The impressive performance of recent language models across a wide range of tasks suggests that they possess a degree of abstract reasoning skills. Are these skills general and transferable, or specialized to specific tasks seen during pretraining? To disentangle these effects, we propose an evaluation framework based on ‘counterfactual’ task variants that deviate from the default assumptions underlying standard tasks. Across a suite of 11 tasks, we observe nontrivial performance on the counterfactual variants, but nevertheless find that performance substantially and consistently degrades compared to the default conditions. This suggests that while current LMs may possess abstract task-solving skills to a degree, they often also rely on narrow, non-transferable procedures for task-solving. These results motivate a more careful interpretation of language model performance that teases apart these aspects of behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google