Spatial Reasoning with Denoising Models

要約

生成モデルの除去を介して一連の連続変数を介して推論を実行するフレームワークである空間推論モデル（SRMS）を紹介します。
SRMSは、観察された変数の観察を与えられた、観察されていない一連の変数の連続表現を推測します。
拡散モデルやフローマッチングモデルなどの空間ドメイン上の現在の生成モデルは、複雑な分布の場合に幻覚に崩壊することがよくあります。
これを測定するために、生成モデルの複雑な推論の品質をテストし、幻覚を定量化できる一連のベンチマークタスクを導入します。
SRMフレームワークでは、生成における順次化の重要性、関連する順序、およびトレーニング中のサンプリング戦略に関する重要な調査結果を報告できます。
初めて、世代の順序が除去ネットワーク自体によって正常に予測できることを実証しています。
これらの調査結果を使用して、特定の推論タスクの精度を1％未満から> 50％に増やすことができます。

要約(オリジナル)

We introduce Spatial Reasoning Models (SRMs), a framework to perform reasoning over sets of continuous variables via denoising generative models. SRMs infer continuous representations on a set of unobserved variables, given observations on observed variables. Current generative models on spatial domains, such as diffusion and flow matching models, often collapse to hallucination in case of complex distributions. To measure this, we introduce a set of benchmark tasks that test the quality of complex reasoning in generative models and can quantify hallucination. The SRM framework allows to report key findings about importance of sequentialization in generation, the associated order, as well as the sampling strategies during training. It demonstrates, for the first time, that order of generation can successfully be predicted by the denoising network itself. Using these findings, we can increase the accuracy of specific reasoning tasks from <1% to >50%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google