Can Large Language Models Reason about the Region Connection Calculus?

要約

質的空間推論は、知識表現と推論のよく研究されている分野であり、地理情報システムからロボット工学やコンピュータ ビジョンに至るまで、複数の応用分野があります。
最近、大規模言語モデル (LLM) の推論機能について多くの主張がなされています。
ここでは、代表的な LLM のセットが、メレオトポロジー領域接続計算、RCC-8 で古典的な定性的空間推論タスクを実行できる程度を調査します。
私たちは、最先端の LLM を使用して 3 組の実験 (組成テーブルの再構築、人間の組成の好みへの調整、概念的な近傍の再構築) を実施します。
各ペアで、1 つの実験では同名の関係と 1 つの匿名の関係を使用します (LLM がトレーニング中に取得した関係名に関する知識にどの程度依存しているかをテストするため)。
LLM の確率性を測定するために、すべてのインスタンスが 30 回繰り返されます。

要約(オリジナル)

Qualitative Spatial Reasoning is a well explored area of Knowledge Representation and Reasoning and has multiple applications ranging from Geographical Information Systems to Robotics and Computer Vision. Recently, many claims have been made for the reasoning capabilities of Large Language Models (LLMs). Here, we investigate the extent to which a set of representative LLMs can perform classical qualitative spatial reasoning tasks on the mereotopological Region Connection Calculus, RCC-8. We conduct three pairs of experiments (reconstruction of composition tables, alignment to human composition preferences, conceptual neighbourhood reconstruction) using state-of-the-art LLMs; in each pair one experiment uses eponymous relations and one, anonymous relations (to test the extent to which the LLM relies on knowledge about the relation names obtained during training). All instances are repeated 30 times to measure the stochasticity of the LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google