Epistemology of Language Models: Do Language Models Have Holistic Knowledge?

要約

この論文は、認識論的全体論の観点から言語モデルに固有の知識を調査します。
この論文の目的は、LLM が認識論的全体論と一致する特性を示すかどうかを調査することです。
これらの特徴は、一般的な科学知識などの核となる知識がそれぞれ特定の役割を果たし、知識体系の基盤として機能し、改訂が難しいことを示唆しています。
全体論に関連するこれらの特性を評価するために、科学的推論データセットを作成し、アブダクション、改訂、引数生成という 3 つのタスクを通じて言語モデルの認識論を調べました。
アブダクションタスクでは、言語モデルは核となる知識の見直しを避けながら状況を説明しました。
しかし、他のタスクでは、言語モデルが中核知識と周辺知識を区別していないことが明らかになり、全体的な知識原則との不完全な整合性が示されました。

要約(オリジナル)

This paper investigates the inherent knowledge in language models from the perspective of epistemological holism. The purpose of this paper is to explore whether LLMs exhibit characteristics consistent with epistemological holism. These characteristics suggest that core knowledge, such as general scientific knowledge, each plays a specific role, serving as the foundation of our knowledge system and being difficult to revise. To assess these traits related to holism, we created a scientific reasoning dataset and examined the epistemology of language models through three tasks: Abduction, Revision, and Argument Generation. In the abduction task, the language models explained situations while avoiding revising the core knowledge. However, in other tasks, the language models were revealed not to distinguish between core and peripheral knowledge, showing an incomplete alignment with holistic knowledge principles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google