Generating by Understanding: Neural Visual Generation with Logical Symbol Groundings

要約

論理的推論システムによってニューラルの視覚生成モデルを制御できるようにすることは、忠実さ、透明性、および一般化可能性を改善するために有望です。
このような論理統合モデルを構築するために、誘ductive視覚生成（Abdgen）アプローチを提案します。
ベクトル定量化されたシンボル接地メカニズムと、対応する解き込みトレーニング方法が導入され、生成にわたる論理シンボルの制御可能性が向上します。
さらに、2つの論理的誘導方法を提案して、アプローチにラベル付けされたトレーニングデータをほとんど必要とし、データからの潜在的な論理生成ルールの誘導をサポートする必要があります。
私たちのアプローチを利用して、ゼロから学習するか、事前に訓練されたモデルを直接利用することにより、さまざまな神経生成モデルを論理的推論システムと統合できることを実験的に示します。
コードはhttps://github.com/future-item/abdgenでリリースされます。

要約(オリジナル)

Making neural visual generative models controllable by logical reasoning systems is promising for improving faithfulness, transparency, and generalizability. We propose the Abductive visual Generation (AbdGen) approach to build such logic-integrated models. A vector-quantized symbol grounding mechanism and the corresponding disentanglement training method are introduced to enhance the controllability of logical symbols over generation. Furthermore, we propose two logical abduction methods to make our approach require few labeled training data and support the induction of latent logical generative rules from data. We experimentally show that our approach can be utilized to integrate various neural generative models with logical reasoning systems, by both learning from scratch or utilizing pre-trained models directly. The code is released at https://github.com/future-item/AbdGen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google