Intraoperative Registration by Cross-Modal Inverse Neural Rendering

要約

この論文では、クロスモーダル逆ニューラル レンダリングを介した脳神経外科手術中の 3D/2D 術中位置合わせのための新しいアプローチを紹介します。
私たちのアプローチは、暗黙的な神経表現を 2 つのコンポーネントに分離し、術前に解剖学的構造を処理し、術中に外観を処理します。
このもつれの解除は、マルチスタイル ハイパーネットワークを使用してニューラル ラディアンス フィールドの外観を制御することによって実現されます。
トレーニングが完了すると、暗黙的ニューラル表現は微分可能なレンダリング エンジンとして機能し、レンダリングされた画像とターゲットの術中画像の間の相違を最小限に抑えて手術カメラのポーズを推定するために使用できます。
私たちは、臨床症例からの遡及的な患者データで私たちの方法をテストし、私たちの方法が現在の臨床登録基準を満たしながら最先端の方法を上回っていることを示しました。
コードと追加のリソースは、https://maxfehrentz.github.io/style-ngp/ で見つけることができます。

要約(オリジナル)

We present in this paper a novel approach for 3D/2D intraoperative registration during neurosurgery via cross-modal inverse neural rendering. Our approach separates implicit neural representation into two components, handling anatomical structure preoperatively and appearance intraoperatively. This disentanglement is achieved by controlling a Neural Radiance Field’s appearance with a multi-style hypernetwork. Once trained, the implicit neural representation serves as a differentiable rendering engine, which can be used to estimate the surgical camera pose by minimizing the dissimilarity between its rendered images and the target intraoperative image. We tested our method on retrospective patients’ data from clinical cases, showing that our method outperforms state-of-the-art while meeting current clinical standards for registration. Code and additional resources can be found at https://maxfehrentz.github.io/style-ngp/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google