Enhancing multimodal analogical reasoning with Logic Augmented Generation

要約

大規模な言語モデルの最近の進歩により、さまざまなタスクにわたって能力が実証されています。
ただし、自然言語から暗黙の知識を自動的に抽出することは、マシンが物理的な世界で積極的な経験を欠いているため、重要な課題のままです。
このシナリオを考えると、セマンティックナレッジグラフは、より効率的で説明可能な結果を​​達成するために、自動化されたテキスト生成推論プロセスを導く概念的なスペースとして機能します。
このホワイトペーパーでは、セマンティックナレッジグラフを介してテキストの明示的な表現を活用し、迅速なヒューリスティックと組み合わせて暗黙的な類推接続を引き出すために、それを迅速に適用するロジックの高等生成（LAG）フレームワークを適用します。
この方法では、暗黙の意味を表す拡張された知識グラフトリプルを生成し、ドメインに関係なく、システムが非標識マルチモーダルデータの推論を可能にします。
深い類似の推論能力が必要なため、4つのデータセットで3つのメタファーの検出と理解を介して作業を検証します。
結果は、この統合されたアプローチが現在のベースラインを上回り、視覚的なメタファーを理解する際に人間よりも優れていることを示しており、より説明しやすい推論プロセスを可能にしますが、特にドメイン固有のメタファーのメタファー理解には固有の制限があります。
さらに、比phor的な注釈と現在の評価方法に関する問題について議論し、徹底的なエラー分析を提案します。

要約(オリジナル)

Recent advances in Large Language Models have demonstrated their capabilities across a variety of tasks. However, automatically extracting implicit knowledge from natural language remains a significant challenge, as machines lack active experience with the physical world. Given this scenario, semantic knowledge graphs can serve as conceptual spaces that guide the automated text generation reasoning process to achieve more efficient and explainable results. In this paper, we apply a logic-augmented generation (LAG) framework that leverages the explicit representation of a text through a semantic knowledge graph and applies it in combination with prompt heuristics to elicit implicit analogical connections. This method generates extended knowledge graph triples representing implicit meaning, enabling systems to reason on unlabeled multimodal data regardless of the domain. We validate our work through three metaphor detection and understanding tasks across four datasets, as they require deep analogical reasoning capabilities. The results show that this integrated approach surpasses current baselines, performs better than humans in understanding visual metaphors, and enables more explainable reasoning processes, though still has inherent limitations in metaphor understanding, especially for domain-specific metaphors. Furthermore, we propose a thorough error analysis, discussing issues with metaphorical annotations and current evaluation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google