Learning Differentiable Logic Programs for Abstract Visual Reasoning

要約

視覚的推論は、世界を理解し、知覚を超えて問題解決を実行するインテリジェントなエージェントを構築するために不可欠です。
微分可能前向き推論は、推論を勾配ベースの機械学習パラダイムと統合するために開発されました。
ただし、メモリ強度のせいで、既存のアプローチのほとんどは、抽象的な視覚的推論を解決する重要な能力を除いて、一次ロジックの表現力を最大限に活用できず、エージェントはさまざまなシナリオで抽象的な概念のアナロジーを使用して推論を実行する必要があります。
。
この問題を克服するために、我々はグラフベースの微分可能な前方推論器である NEUro-symbolic Message-pAssiNg reasoNer (NEUMANN) を提案します。メモリ効率の高い方法でメッセージを渡し、ファンクターを使用して構造化されたプログラムを処理します。
さらに、複雑な視覚シーンに対して説明プログラム誘導を実行するための、計算効率の高い構造学習アルゴリズムを提案します。
評価するために、従来の視覚的推論タスクに加えて、舞台裏での視覚的推論という新しいタスクを提案します。このタスクでは、エージェントは抽象的なプログラムを学習し、観察されていない場面を想像して質問に答える必要があります。
我々は、NEUMANN が視覚推論タスクを効率的に解決し、神経ベースライン、記号ベースライン、および神経記号ベースラインを上回るパフォーマンスを発揮することを経験的に示しています。

要約(オリジナル)

Visual reasoning is essential for building intelligent agents that understand the world and perform problem-solving beyond perception. Differentiable forward reasoning has been developed to integrate reasoning with gradient-based machine learning paradigms. However, due to the memory intensity, most existing approaches do not bring the best of the expressivity of first-order logic, excluding a crucial ability to solve abstract visual reasoning, where agents need to perform reasoning by using analogies on abstract concepts in different scenarios. To overcome this problem, we propose NEUro-symbolic Message-pAssiNg reasoNer (NEUMANN), which is a graph-based differentiable forward reasoner, passing messages in a memory-efficient manner and handling structured programs with functors. Moreover, we propose a computationally-efficient structure learning algorithm to perform explanatory program induction on complex visual scenes. To evaluate, in addition to conventional visual reasoning tasks, we propose a new task, visual reasoning behind-the-scenes, where agents need to learn abstract programs and then answer queries by imagining scenes that are not observed. We empirically demonstrate that NEUMANN solves visual reasoning tasks efficiently, outperforming neural, symbolic, and neuro-symbolic baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google