Multi-Layer Gaussian Splatting for Immersive Anatomy Visualization

要約

医療画像の視覚化では、CT スキャンなどのボリューム医療データのパス トレースにより、本物のような 3 次元の視覚化が生成されます。
没入型 VR ディスプレイは、複雑な解剖学的構造の理解をさらに深めます。
従来の 2D スライスの診断品質を超えて、解剖学的構造のインタラクティブな 3D 評価を可能にし、医学教育と計画をサポートします。
ただし、高品質のビジュアライゼーションをリアルタイムでレンダリングすることは計算量が多く、モバイル ヘッドセットなどの計算に制約のあるデバイスでは現実的ではありません。
我々は、GS を利用して CT スキャンの効率的かつ静的な中間表現を作成する新しいアプローチを提案します。
階層化された GS 表現を導入し、重複を最小限に抑えながらさまざまな解剖学的構造を段階的に組み込み、GS トレーニングを拡張して非アクティブなガウス分布を削除します。
作成したモデルをレイヤー間のクラスタリングでさらに圧縮します。
私たちのアプローチは、解剖学的構造を維持しながらインタラクティブなフレーム レートを実現し、品質はターゲット ハードウェアに合わせて調整できます。
標準の GS と比較して、私たちの表現は、没入型パス トレースによって最初に可能になった探索的な品質の一部を保持しています。
レンダリング時にレイヤーの選択的なアクティブ化とクリッピングが可能になり、静的な GS モデルにある程度のインタラクティブ性が追加されます。
これにより、高い計算要求によりパス トレースされた医療ボリュームの使用が禁止されるようなシナリオが可能になる可能性があります。

要約(オリジナル)

In medical image visualization, path tracing of volumetric medical data like CT scans produces lifelike three-dimensional visualizations. Immersive VR displays can further enhance the understanding of complex anatomies. Going beyond the diagnostic quality of traditional 2D slices, they enable interactive 3D evaluation of anatomies, supporting medical education and planning. Rendering high-quality visualizations in real-time, however, is computationally intensive and impractical for compute-constrained devices like mobile headsets. We propose a novel approach utilizing GS to create an efficient but static intermediate representation of CT scans. We introduce a layered GS representation, incrementally including different anatomical structures while minimizing overlap and extending the GS training to remove inactive Gaussians. We further compress the created model with clustering across layers. Our approach achieves interactive frame rates while preserving anatomical structures, with quality adjustable to the target hardware. Compared to standard GS, our representation retains some of the explorative qualities initially enabled by immersive path tracing. Selective activation and clipping of layers are possible at rendering time, adding a degree of interactivity to otherwise static GS models. This could enable scenarios where high computational demands would otherwise prohibit using path-traced medical volumes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google