Physics of Language Models: Part 3.2, Knowledge Manipulation

要約

言語モデルは膨大な事実知識を保存できますが、この知識を下流のタスクに柔軟に使用する能力 (たとえば、命令の微調整など) には依然として疑問が残ります。
この論文では、4 つの基本的な知識操作タスクを調査します: 検索 (例: 「人 A の属性 X は何ですか?」)、分類 (例: 「A の属性 X は偶数ですか、奇数ですか?」)、比較 (例: 「A は B より大きいですか?」)
属性 X 内?’)、および逆検索 (例: ‘どの人の属性 X が T と等しいですか?’)。
言語モデルは知識の検索には優れていますが、トレーニングと推論の両方で思考連鎖 (CoT) が使用されない限り、最も単純な分類や比較タスクでさえ困難であることを示します。
さらに、逆知識検索におけるパフォーマンスは、プロンプトに関係なく、事実上 0% です。
私たちの主な貢献は、これらの弱点が言語モデルに固有のものであることを確認する制御された合成実験です。適切なトレーニングと十分なモデル サイズにもかかわらず、そのような知識がモデルに完全に保存されている場合でも、言語モデルはトレーニング前のデータからの知識を効率的に操作することはできません。
私たちの発見は、GPT-4 などの最新の事前学習済み言語モデルにも当てはまり、人間と現代の AI を区別するための多くのチューリング テストが生まれました。

要約(オリジナル)

Language models can store vast factual knowledge, yet their ability to flexibly use this knowledge for downstream tasks (e.g., via instruction finetuning) remains questionable. This paper investigates four fundamental knowledge manipulation tasks: retrieval (e.g., ‘What is person A’s attribute X?’), classification (e.g., ‘Is A’s attribute X even or odd?’), comparison (e.g., ‘Is A greater than B in attribute X?’), and inverse search (e.g., ‘Which person’s attribute X equals T?’). We show that language models excel in knowledge retrieval but struggle even in the simplest classification or comparison tasks unless Chain of Thoughts (CoTs) are employed during both training and inference. Moreover, their performance in inverse knowledge search is virtually 0%, regardless of the prompts. Our primary contribution is a controlled, synthetic experiment that confirms these weaknesses are inherent to language models: they cannot efficiently manipulate knowledge from pre-training data, even when such knowledge is perfectly stored in the models, despite adequate training and sufficient model size. Our findings also apply to modern pretrained language models such as GPT-4, thus giving rise to many Turing tests to distinguish Humans from contemporary AIs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google