Large Language Models are Limited in Out-of-Context Knowledge Reasoning

要約

大規模言語モデル (LLM) は、コンテキスト内の推論を実行するための広範な知識と強力な機能を備えています。
ただし、これまでの研究では、コンテキスト外の推論能力、つまりコンテキストやプロンプトからではなくトレーニング データから情報を推測する能力が課題となっていました。
この論文では、アウトオブコンテキスト推論の重要な側面であるアウトオブコンテキスト知識推論 (OCKR) に焦点を当てます。これは、複数の知識を組み合わせて新しい知識を推論することです。
LLM の OCKR 機能を体系的に評価するために、7 つの代表的な OCKR タスクを含む合成データセットを設計しました。
このデータセットを使用して、いくつかの LLM を評価したところ、知識が別のトレーニング設定でトレーニングされたか隣接したトレーニング設定でトレーニングされたかに関係なく、この側面における LLM の習熟度には限界があることがわかりました。
さらに、推論例を使用して推論するようにモデルをトレーニングしても大幅な改善は得られませんが、明示的知識の検索を実行するようにモデルをトレーニングしても、属性の知識の検索には役立ちますが、関係の知識の検索には役立ちません。これは、モデルの OCKR 機能が制限されているのは知識の難しさによるものであることを示しています。
検索。
さらに、言語を越えた知識伝達を OCKR の別の形式として扱い、この能力を評価します。
私たちの結果は、評価されたモデルが言語を越えて知識を伝達する能力にも限界があることを示しています。

要約(オリジナル)

Large Language Models (LLMs) possess extensive knowledge and strong capabilities in performing in-context reasoning. However, previous work challenges their out-of-context reasoning ability, i.e., the ability to infer information from their training data, instead of from the context or prompt. This paper focuses on a significant aspect of out-of-context reasoning: Out-of-Context Knowledge Reasoning (OCKR), which is to combine multiple knowledge to infer new knowledge. We designed a synthetic dataset with seven representative OCKR tasks to systematically assess the OCKR capabilities of LLMs. Using this dataset, we evaluated several LLMs and discovered that their proficiency in this aspect is limited, regardless of whether the knowledge is trained in a separate or adjacent training settings. Moreover, training the model to reason with reasoning examples does not result in significant improvement, while training the model to perform explicit knowledge retrieval helps for retrieving attribute knowledge but not the relation knowledge, indicating that the model’s limited OCKR capabilities are due to difficulties in knowledge retrieval. Furthermore, we treat cross-lingual knowledge transfer as a distinct form of OCKR, and evaluate this ability. Our results show that the evaluated model also exhibits limited ability in transferring knowledge across languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google