DDGS-CT: Direction-Disentangled Gaussian Splatting for Realistic Volume Rendering

要約

デジタル再構成放射線写真 (DRR) は、3D CT ボリュームから生成されたシミュレートされた 2D X 線画像であり、術前設定で広く使用されていますが、特に正確ではあるが重い物理ベースのモンテカルロ法など、計算上のボトルネックにより術中の用途には限定されています。
分析的 DRR レンダラーはより高い効率を提供しますが、コンプトン散乱などの異方性 X 線画像形成現象を見落とします。
我々は、現実的な物理学にインスピレーションを得た X 線シミュレーションと、3D ガウス スプラッティング (3DGS) を使用した効率的で微分可能な DRR 生成を組み合わせた新しいアプローチを提案します。
当社の方向分解 3DGS (DDGS) メソッドは、ラジオシティの寄与を等方性成分と方向依存成分に分離し、複雑なランタイム シミュレーションを行わずに複雑な異方性相互作用を近似します。
さらに、断層撮影データのプロパティを考慮して 3DGS 初期化を調整し、精度と効率を向上させます。
私たちの方法は、画像精度において最先端の技術を上回ります。
さらに、当社の DDGS は、術中アプリケーションや姿勢位置合わせなどの逆問題に有望であり、分析的 DRR 手法と比較して優れた位置合わせ精度と実行時パフォーマンスを実現します。

要約(オリジナル)

Digitally reconstructed radiographs (DRRs) are simulated 2D X-ray images generated from 3D CT volumes, widely used in preoperative settings but limited in intraoperative applications due to computational bottlenecks, especially for accurate but heavy physics-based Monte Carlo methods. While analytical DRR renderers offer greater efficiency, they overlook anisotropic X-ray image formation phenomena, such as Compton scattering. We present a novel approach that marries realistic physics-inspired X-ray simulation with efficient, differentiable DRR generation using 3D Gaussian splatting (3DGS). Our direction-disentangled 3DGS (DDGS) method separates the radiosity contribution into isotropic and direction-dependent components, approximating complex anisotropic interactions without intricate runtime simulations. Additionally, we adapt the 3DGS initialization to account for tomography data properties, enhancing accuracy and efficiency. Our method outperforms state-of-the-art techniques in image accuracy. Furthermore, our DDGS shows promise for intraoperative applications and inverse problems such as pose registration, delivering superior registration accuracy and runtime performance compared to analytical DRR methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google