Few-Shot Physically-Aware Articulated Mesh Generation via Hierarchical Deformation

要約

我々は、少数ショットの物理的に認識された多関節メッシュ生成の問題を研究します。
少数の例のみを含む多関節オブジェクト データセットを観察することで、高い視覚的忠実性と物理的妥当性を備えた多様なメッシュを生成できるモデルを学習したいと考えています。
以前のメッシュ生成モデルでは、わずかな例から多様なデータ空間を表現することが困難か、サンプルの物理的妥当性を保証できませんでした。
上記の課題に関して、我々は 2 つの重要な革新を提案します。1) 大規模な剛体メッシュから転送可能な変形パターンを借用することで少数ショットの課題を軽減する分割統治の哲学に基づく階層的メッシュ変形ベースの生成モデル、2)
) 物理的に妥当な生成を促進する、物理を意識した変形補正スキーム。
6 つの多関節カテゴリについて広範な実験を実施し、少数ショット設定で以前の方法よりも優れた多様性、より高い視覚的忠実度、より優れた物理的妥当性を備えた多関節メッシュを生成する際のこの方法の優位性を実証しました。
さらに、アブレーション研究における当社の 2 つのイノベーションの確かな貢献を検証します。
コードを含むプロジェクト ページは https://meowuu7.github.io/few-arti-obj-gen で入手できます。

要約(オリジナル)

We study the problem of few-shot physically-aware articulated mesh generation. By observing an articulated object dataset containing only a few examples, we wish to learn a model that can generate diverse meshes with high visual fidelity and physical validity. Previous mesh generative models either have difficulties in depicting a diverse data space from only a few examples or fail to ensure physical validity of their samples. Regarding the above challenges, we propose two key innovations, including 1) a hierarchical mesh deformation-based generative model based upon the divide-and-conquer philosophy to alleviate the few-shot challenge by borrowing transferrable deformation patterns from large scale rigid meshes and 2) a physics-aware deformation correction scheme to encourage physically plausible generations. We conduct extensive experiments on 6 articulated categories to demonstrate the superiority of our method in generating articulated meshes with better diversity, higher visual fidelity, and better physical validity over previous methods in the few-shot setting. Further, we validate solid contributions of our two innovations in the ablation study. Project page with code is available at https://meowuu7.github.io/few-arti-obj-gen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google