Neuro-symbolic Training for Reasoning over Spatial Language

要約

自然言語の表現に基づく空間的推論は、日常の人間の仕事に不可欠です。
この推論能力は、マシンが人間のような方法で環境と対話するためにも重要です。
ただし、最近の研究では、最新の言語モデルでさえ、特に営巣する空間表現に直面している場合、テキストに対する空間的推論に苦労していることが示されています。
これは、一般化に必要な適切なレベルの抽象化を達成しないことに起因します。
この問題を軽減するために、空間的論理ルールを制約として活用する神経副体モデルを使用したトレーニング言語モデルを提案し、空間的推論と質問の回答を改善するための追加の監督を提供します。
空間的推論ルールを順守するための言語モデルのトレーニングは、さまざまなドメインに空間知識を転送するためのより効果的で一般的な抽象化を行う際にガイドします。
既存の空間的質問ベンチマークに関するアプローチを評価します。
私たちの結果は、テキストに対する複雑なマルチホップ空間推論における言語モデルを改善する際の提案された手法の有効性を示しています。

要約(オリジナル)

Spatial reasoning based on natural language expressions is essential for everyday human tasks. This reasoning ability is also crucial for machines to interact with their environment in a human-like manner. However, recent research shows that even state-of-the-art language models struggle with spatial reasoning over text, especially when facing nesting spatial expressions. This is attributed to not achieving the right level of abstraction required for generalizability. To alleviate this issue, we propose training language models with neuro-symbolic techniques that exploit the spatial logical rules as constraints, providing additional supervision to improve spatial reasoning and question answering. Training language models to adhere to spatial reasoning rules guides them in making more effective and general abstractions for transferring spatial knowledge to various domains. We evaluate our approach on existing spatial question-answering benchmarks. Our results indicate the effectiveness of our proposed technique in improving language models in complex multi-hop spatial reasoning over text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google