Neurosymbolic Graph Enrichment for Grounded World Models

要約

現実世界の複雑なシナリオを理解し推論できる人工知能システムの開発は、大きな課題です。
この研究では、複雑な問題に対処し、深く文脈に沿った現実世界の意味を解釈するために、LLM の反応機能を強化および活用する新しいアプローチを紹介します。
私たちは、大規模な言語モデルの長所と構造化された意味表現を組み合わせた、マルチモーダルで知識が拡張された形式的な意味表現を作成するための方法とツールを紹介します。
私たちの方法は画像入力から始まり、最先端の大規模言語モデルを利用して自然言語記述を生成します。
次に、この記述は抽象意味表現 (AMR) グラフに変換され、論理設計パターンと言語および事実の知識ベースから派生した階層化されたセマンティクスで形式化および強化されます。
結果として得られたグラフは LLM にフィードバックされ、意味論的含意、道徳的価値観、身体的認知、比喩表現など、複雑なヒューリスティック学習によって活性化された暗黙の知識で拡張されます。
非構造化言語モデルと正式な意味構造の間のギャップを埋めることにより、私たちの方法は、自然言語の理解と推論における複雑な問題に取り組むための新しい道を開きます。

要約(オリジナル)

The development of artificial intelligence systems capable of understanding and reasoning about complex real-world scenarios is a significant challenge. In this work we present a novel approach to enhance and exploit LLM reactive capability to address complex problems and interpret deeply contextual real-world meaning. We introduce a method and a tool for creating a multimodal, knowledge-augmented formal representation of meaning that combines the strengths of large language models with structured semantic representations. Our method begins with an image input, utilizing state-of-the-art large language models to generate a natural language description. This description is then transformed into an Abstract Meaning Representation (AMR) graph, which is formalized and enriched with logical design patterns, and layered semantics derived from linguistic and factual knowledge bases. The resulting graph is then fed back into the LLM to be extended with implicit knowledge activated by complex heuristic learning, including semantic implicatures, moral values, embodied cognition, and metaphorical representations. By bridging the gap between unstructured language models and formal semantic structures, our method opens new avenues for tackling intricate problems in natural language understanding and reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google