DSO: Aligning 3D Generators with Simulation Feedback for Physical Soundness

要約

ほとんどの3Dオブジェクトジェネレーターは、美的品質に焦点を当てており、アプリケーションで必要な物理的制約を無視することがよくあります。
そのような制約の1つは、3Dオブジェクトが自立している必要があることです。つまり、重力の下でバランスを保つことです。
安定した3Dオブジェクトを生成するための以前のアプローチは、微分可能な物理シミュレータを使用して、テスト時にジオメトリを最適化しました。
生成モデルを外部フィードバックに合わせることに関する文献に触発されて、（非差性的な）シミュレーターからのフィードバックを使用するフレームワークである直接シミュレーション最適化（DSO）を提案し、3Dジェネレーターが安定した3Dオブジェクトを直接出力する可能性を高めます。
物理シミュレーターから得られた安定性スコアでラベル付けされた3Dオブジェクトのデータセットを作成します。
その後、導入された拡張モデルである直接選好最適化（DPO）または直接報酬最適化（DRO）を使用して、アライメントメトリックとして安定性スコアを使用して3Dジェネレーターを微調整できます。
私たちの実験は、DPOまたはDRO対物レンズのいずれかを使用した微調整されたフィードフォワードジェネレーターが、テスト時間の最適化よりもはるかに高速で安定したオブジェクトを生成する可能性が高いことを示しています。
特に、DSOフレームワークは、トレーニング用のグラウンドトゥルース3Dオブジェクトがなくても機能し、3Dジェネレーターが独自の出力に関するシミュレーションフィードバックを自動的に収集することで自己改善できるようになります。

要約(オリジナル)

Most 3D object generators focus on aesthetic quality, often neglecting physical constraints necessary in applications. One such constraint is that the 3D object should be self-supporting, i.e., remains balanced under gravity. Prior approaches to generating stable 3D objects used differentiable physics simulators to optimize geometry at test-time, which is slow, unstable, and prone to local optima. Inspired by the literature on aligning generative models to external feedback, we propose Direct Simulation Optimization (DSO), a framework to use the feedback from a (non-differentiable) simulator to increase the likelihood that the 3D generator outputs stable 3D objects directly. We construct a dataset of 3D objects labeled with a stability score obtained from the physics simulator. We can then fine-tune the 3D generator using the stability score as the alignment metric, via direct preference optimization (DPO) or direct reward optimization (DRO), a novel objective, which we introduce, to align diffusion models without requiring pairwise preferences. Our experiments show that the fine-tuned feed-forward generator, using either DPO or DRO objective, is much faster and more likely to produce stable objects than test-time optimization. Notably, the DSO framework works even without any ground-truth 3D objects for training, allowing the 3D generator to self-improve by automatically collecting simulation feedback on its own outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google