Generating by Understanding: Neural Visual Generation with Logical Symbol Groundings

要約

近年、神経視覚生成モデルが大成功を収めているにもかかわらず、それらを強力な記号知識推論システムと統合することは依然として困難な課題です。
主な課題は 2 つあります。1 つはシンボルの割り当てです。つまり、神経視覚ジェネレーターの潜在要素を知識推論システムからの意味のあるシンボルと結び付けることです。
もう 1 つはルール学習です。つまり、データの生成プロセスを管理する新しいルールを学習して、知識推論システムを強化します。
これらのシンボルグラウンディングの問題に対処するために、アブダクティブ学習フレームワークに基づいて論理プログラミングシステムをニューラルビジュアル生成モデルと統合するための、ニューラルシンボリック学習アプローチであるアブダクティブビジュアルジェネレーション（AbdGen）を提案します。
信頼性が高く効率的なシンボル割り当てを実現するために、量子化アブダクション法が導入され、セマンティック コードブック内の最近傍検索によってアブダクション提案が生成されます。
正確なルール学習を達成するために、肯定的なケースでは間違ったルールを排除し、否定的なケースではあまり有益ではないルールを同時に回避する対照的メタアブダクション法が提案されています。
さまざまなベンチマーク データセットでの実験結果は、ベースラインと比較して、AbdGen がシンボル割り当てに必要とするインスタンス レベルのラベル付け情報が大幅に少ないことを示しています。
さらに、私たちのアプローチは、既存のアプローチの能力を超えて、基礎となる論理生成ルールをデータから効果的に学習できます。

要約(オリジナル)

Despite the great success of neural visual generative models in recent years, integrating them with strong symbolic knowledge reasoning systems remains a challenging task. The main challenges are two-fold: one is symbol assignment, i.e. bonding latent factors of neural visual generators with meaningful symbols from knowledge reasoning systems. Another is rule learning, i.e. learning new rules, which govern the generative process of the data, to augment the knowledge reasoning systems. To deal with these symbol grounding problems, we propose a neural-symbolic learning approach, Abductive Visual Generation (AbdGen), for integrating logic programming systems with neural visual generative models based on the abductive learning framework. To achieve reliable and efficient symbol assignment, the quantized abduction method is introduced for generating abduction proposals by the nearest-neighbor lookups within semantic codebooks. To achieve precise rule learning, the contrastive meta-abduction method is proposed to eliminate wrong rules with positive cases and avoid less-informative rules with negative cases simultaneously. Experimental results on various benchmark datasets show that compared to the baselines, AbdGen requires significantly fewer instance-level labeling information for symbol assignment. Furthermore, our approach can effectively learn underlying logical generative rules from data, which is out of the capability of existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google