Structure from Collision

要約

ニューラル放射輝度フィールド（NERF）や3Dガウススプラッティング（3DG）などの神経3D表現の最近の進歩により、マルチビュー画像からの3D構造の正確な推定が可能になりました。
ただし、この機能は、可視外部構造を推定し、表面の後ろに隠された目に見えない内部構造を識別することは困難です。
この制限を克服するために、衝突中の外観からのオブジェクトの構造（目に見えない内部構造を含む）を推定することを目的とする衝突（SFC）の構造と呼ばれる新しいタスクに対処します。
この問題を解決するために、物理的、外観（つまり、可視外部構造） – 摂取、およびキーフレームの制約の下でのビデオシーケンスを介してオブジェクトの目に見えない内部構造を最適化するSFC-NERFという新しいモデルを提案します。
特に、不適切な性質のために望ましくないローカルオプティマに陥ることを避けるために、ボリュームアニーリングを提案します。
つまり、ボリュームを繰り返し減少および拡大することにより、グローバルオプティマを検索します。
多様な構造（すなわち、さまざまな空洞形状、位置、およびサイズ）と材料特性を含む115のオブジェクトに関する広範な実験により、SFCの特性が明らかになり、提案されたSFC-NERFの有効性が実証されました。

要約(オリジナル)

Recent advancements in neural 3D representations, such as neural radiance fields (NeRF) and 3D Gaussian splatting (3DGS), have enabled the accurate estimation of 3D structures from multiview images. However, this capability is limited to estimating the visible external structure, and identifying the invisible internal structure hidden behind the surface is difficult. To overcome this limitation, we address a new task called Structure from Collision (SfC), which aims to estimate the structure (including the invisible internal structure) of an object from appearance changes during collision. To solve this problem, we propose a novel model called SfC-NeRF that optimizes the invisible internal structure of an object through a video sequence under physical, appearance (i.e., visible external structure)-preserving, and keyframe constraints. In particular, to avoid falling into undesirable local optima owing to its ill-posed nature, we propose volume annealing; that is, searching for global optima by repeatedly reducing and expanding the volume. Extensive experiments on 115 objects involving diverse structures (i.e., various cavity shapes, locations, and sizes) and material properties revealed the properties of SfC and demonstrated the effectiveness of the proposed SfC-NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google