Neuro-Symbolic Scene Graph Conditioning for Synthetic Image Dataset Generation

要約

機械学習モデルがスケールと複雑さを増加させるにつれて、十分なトレーニングデータを取得することは、特殊なドメインの獲得コスト、プライバシーの制約、およびデータ不足により、重要なボトルネックになりました。
合成データ生成は有望な代替手段として浮上していますが、特にタスクの複雑さが増すにつれて、実際のデータでトレーニングされたモデルと比較して、顕著なパフォーマンスギャップは残ります。
同時に、ニューラルネットワークの学習強みと象徴的な推論の構造化表現を組み合わせた神経腫瘍法は、さまざまな認知タスクにわたって重要な可能性を示しています。
このホワイトペーパーでは、シーングラフ生成モデルのパフォーマンスの向上に特に焦点を当てた合成画像データセット生成のためのニューロシンボリック条件付けの有用性について説明します。
この研究では、シーングラフの形で構造化されたシンボリック表現が、リレーショナル制約の明示的なエンコードを通じて合成データの品質を高めることができるかどうかを調査しています。
結果は、ニューロシンボリックコンディショニングが、データセットの増強に使用された場合、標準リコールメトリックで最大 +2.59％、グラフ制約のないリコールメトリックで +2.83％の大幅な改善をもたらすことを示しています。
これらの調査結果は、ニューロシンボリックおよび生成アプローチをマージすることで、実際のデータと組み合わせるとモデルのパフォーマンスを向上させる補完的な構造情報と合成データが生成され、複雑な視覚推論タスクでもデータ希少性の制限を克服するための新しいアプローチを提供することが確立されています。

要約(オリジナル)

As machine learning models increase in scale and complexity, obtaining sufficient training data has become a critical bottleneck due to acquisition costs, privacy constraints, and data scarcity in specialised domains. While synthetic data generation has emerged as a promising alternative, a notable performance gap remains compared to models trained on real data, particularly as task complexity grows. Concurrently, Neuro-Symbolic methods, which combine neural networks’ learning strengths with symbolic reasoning’s structured representations, have demonstrated significant potential across various cognitive tasks. This paper explores the utility of Neuro-Symbolic conditioning for synthetic image dataset generation, focusing specifically on improving the performance of Scene Graph Generation models. The research investigates whether structured symbolic representations in the form of scene graphs can enhance synthetic data quality through explicit encoding of relational constraints. The results demonstrate that Neuro-Symbolic conditioning yields significant improvements of up to +2.59% in standard Recall metrics and +2.83% in No Graph Constraint Recall metrics when used for dataset augmentation. These findings establish that merging Neuro-Symbolic and generative approaches produces synthetic data with complementary structural information that enhances model performance when combined with real data, providing a novel approach to overcome data scarcity limitations even for complex visual reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google