Learning from Pattern Completion: Self-supervised Controllable Generation

要約

人間の脳は、通常は情報を監視することなく、スケッチや落書きを現実世界の視覚オブジェクトと関連付けることなど、同じまたは類似の視覚的シーンのさまざまな視覚的属性を自発的に関連付けることができる強力な能力を示します。
対照的に、人工知能の分野では、ControlNet などの制御可能な生成メソッドは、深度マップ、セマンティック セグメンテーション マップ、ポーズなどの注釈付きトレーニング データセットに大きく依存しているため、メソッドのスケーラビリティが制限されます。
脳の連合力に寄与する可能性のある神経機構、特に皮質のモジュール化と海馬のパターン完成に触発されて、我々はここで自己監視制御可能生成（SCG）フレームワークを提案する。
まず、モジュール式オートエンコーダネットワークにおけるモジュール間の独立性とモジュール内の相関を促進する等変制約を導入し、それによって機能の特化を達成します。
その後、これらの特殊なモジュールに基づいて、制御可能な生成トレーニングに自己教師ありパターン補完アプローチを採用します。
実験結果は、提案されたモジュール式オートエンコーダが、色、明るさ、エッジ検出のモジュール式処理を含む機能の専門化を効果的に達成し、方向選択性、色の拮抗作用、中心周囲の受容野などの脳のような特徴を示すことを示しています。
自己教師付きトレーニングを通じて、SCG に連想生成能力が自発的に現れ、絵画、スケッチ、古代の落書きなどの連想生成など、さまざまなタスクに対して優れた一般化能力を示します。
以前の代表的な手法 ControlNet と比較して、私たちが提案するアプローチは、より困難な高ノイズ シナリオにおいて優れた堅牢性を実証するだけでなく、自己監視方式により、より有望なスケーラビリティの可能性も備えています。

要約(オリジナル)

The human brain exhibits a strong ability to spontaneously associate different visual attributes of the same or similar visual scene, such as associating sketches and graffiti with real-world visual objects, usually without supervising information. In contrast, in the field of artificial intelligence, controllable generation methods like ControlNet heavily rely on annotated training datasets such as depth maps, semantic segmentation maps, and poses, which limits the method’s scalability. Inspired by the neural mechanisms that may contribute to the brain’s associative power, specifically the cortical modularization and hippocampal pattern completion, here we propose a self-supervised controllable generation (SCG) framework. Firstly, we introduce an equivariant constraint to promote inter-module independence and intra-module correlation in a modular autoencoder network, thereby achieving functional specialization. Subsequently, based on these specialized modules, we employ a self-supervised pattern completion approach for controllable generation training. Experimental results demonstrate that the proposed modular autoencoder effectively achieves functional specialization, including the modular processing of color, brightness, and edge detection, and exhibits brain-like features including orientation selectivity, color antagonism, and center-surround receptive fields. Through self-supervised training, associative generation capabilities spontaneously emerge in SCG, demonstrating excellent generalization ability to various tasks such as associative generation on painting, sketches, and ancient graffiti. Compared to the previous representative method ControlNet, our proposed approach not only demonstrates superior robustness in more challenging high-noise scenarios but also possesses more promising scalability potential due to its self-supervised manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google