X-Ray: A Sequential 3D Representation for Generation

要約

このペーパーでは、X 線スキャンの深度を明らかにする機能からインスピレーションを得て、物体の外部と内部の両方の特徴を細心の注意を払って捕捉する、新しい連続表現を採用した 3D 生成への革新的なアプローチである X 線を紹介します。
私たちの方法の中心となるのは、カメラの視点から生まれたレイ キャスティング技術の利用であり、すべての交差する表面にわたって遭遇する幾何学的およびテクスチャの詳細を細心の注意を払って記録します。
このプロセスにより、完全なオブジェクトまたはシーンがビデオと同様にマルチフレーム形式に効率的に圧縮されます。
このような構造により、3D 表現が重要な表面情報のみで構成されることが保証されます。
X 線表現の実用性と適応性を強調し、ビデオ拡散モデルで使用されているものと同様のネットワーク アーキテクチャを採用した 3D オブジェクトの合成における X 線表現の有用性を紹介します。
この結果は、3D 合成の精度と効率の両方を向上させる上での当社の表現の優れたパフォーマンスを明らかにし、進行中の研究と現場での実用的な実装に新たな方向性を告げるものです。

要約(オリジナル)

In this paper, we introduce X-Ray, an innovative approach to 3D generation that employs a new sequential representation, drawing inspiration from the depth-revealing capabilities of X-Ray scans to meticulously capture both the external and internal features of objects. Central to our method is the utilization of ray casting techniques originating from the camera’s viewpoint, meticulously recording the geometric and textural details encountered across all intersected surfaces. This process efficiently condenses complete objects or scenes into a multi-frame format, just like videos. Such a structure ensures the 3D representation is composed solely of critical surface information. Highlighting the practicality and adaptability of our X-Ray representation, we showcase its utility in synthesizing 3D objects, employing a network architecture akin to that used in video diffusion models. The outcomes reveal our representation’s superior performance in enhancing both the accuracy and efficiency of 3D synthesis, heralding new directions for ongoing research and practical implementations in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google