Understanding the Logical Capabilities of Large Language Models via Out-of-Context Representation Learning

要約

私たちは、ほとんどの推論、数学、ロジックベンチマークで採用された数学のユビキタスな概念であるバイナリ関係に関する大規模な言語モデル（LLM）の能力を研究しています。
この作業は、IR/反射性、A/対称性、交換性、論理的な複雑さなど、それらが満たす特性（例えば、「ホップ」の数）など、それらが満たす特性とともに、平等、不平等、および包含に焦点を当てています。
新しく導入されたトークンの表現のみをトレーニングするコンテキスト内学習の代替案を提案します。
この方法は、モデルにすでに存在する言語バイアスを軽減し、コンテキスト学習とは異なる方法で、外部情報やイラストに依存していません。
コンテキスト外の表現学習は、より複雑な推論ベンチマークの構成要素であるロジックタスクでLLMSの機能を評価するためのコンテキスト内学習と微調整のより良い代替手段として主張しています。

要約(オリジナル)

We study the capabilities of Large Language Models (LLM) on binary relations, a ubiquitous concept in math employed in most reasoning, math and logic benchmarks. This work focuses on equality, inequality, and inclusion, along with the properties they satisfy, such as ir/reflexivity, a/symmetry, transitivity, and logical complexity (e.g., number of reasoning “hops”). We propose an alternative to in-context learning that trains only the representations of newly introduced tokens, namely out-of-context representation learning. This method mitigates linguistic biases already present in a model and, differently from in-context learning, does not rely on external information or illustrations. We argue out-of-context representation learning as a better alternative to in-context learning and fine-tuning to evaluate the capabilities of LLMs on logic tasks that are the building blocks of more complex reasoning benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google