Fast Auto-Differentiable Digitally Reconstructed Radiographs for Solving Inverse Problems in Intraoperative Imaging

要約

スライスからボリュームへのレジストレーションや 3D 再構成などの逆問題を解決するためにデジタル再構成 X 線写真 (DRR) を使用することは、術前設定でよく研究されています。
術中イメージングでは、DRR の有用性は、DRR をリアルタイムで生成し、繰り返しの DRR 合成に依存する最適化手順をサポートするという課題によって制限されます。
アルゴリズムの改良と GPU の実装により、DRR の生成を加速するという大きな進歩がありましたが、ほとんどの DRR ジェネレーターは画像パラメーターに関する勾配を取得する簡単な方法を提供していないため、DRR ベースの最適化は依然として遅いままです。
DRR を勾配ベースの最適化およびディープ ラーニング フレームワークと相互運用できるようにするために、DRR 生成で使用される最も一般的なレイ トレーシング アルゴリズムである Siddon の方法を一連のベクトル化されたテンソル演算として再構築しました。
ライブラリの強力な自動微分エンジンを利用して、この DRR ジェネレーターをそのパラメーターに関して完全に微分可能にすることで、PyTorch で Siddon の方法のこのベクトル化されたバージョンを実装しました。
さらに、GPU で高速化されたテンソル計算を使用すると、ベクトル化された実装で、CUDA および C++ で実装された最先端の DRR ジェネレーターと同等のレンダリング速度を実現できます。
結果として得られる方法を、スライスからボリュームへの登録のコンテキストで説明します。
さらに、私たちのシミュレーションは、スライスからボリュームへの登録問題の損失状況が最適解の近傍で凸状であることを示唆しており、勾配ベースの登録は、一般的な勾配のない最適化戦略よりもはるかに高速な解を約束します。
提案された DRR ジェネレーターにより、高速コンピューター ビジョン アルゴリズムが低侵襲手術での画像ガイダンスをサポートできるようになります。
私たちの実装は、https://github.com/v715/DiffDRR で公開されています。

要約(オリジナル)

The use of digitally reconstructed radiographs (DRRs) to solve inverse problems such as slice-to-volume registration and 3D reconstruction is well-studied in preoperative settings. In intraoperative imaging, the utility of DRRs is limited by the challenges in generating them in real-time and supporting optimization procedures that rely on repeated DRR synthesis. While immense progress has been made in accelerating the generation of DRRs through algorithmic refinements and GPU implementations, DRR-based optimization remains slow because most DRR generators do not offer a straightforward way to obtain gradients with respect to the imaging parameters. To make DRRs interoperable with gradient-based optimization and deep learning frameworks, we have reformulated Siddon’s method, the most popular ray-tracing algorithm used in DRR generation, as a series of vectorized tensor operations. We implemented this vectorized version of Siddon’s method in PyTorch, taking advantage of the library’s strong automatic differentiation engine to make this DRR generator fully differentiable with respect to its parameters. Additionally, using GPU-accelerated tensor computation enables our vectorized implementation to achieve rendering speeds equivalent to state-of-the-art DRR generators implemented in CUDA and C++. We illustrate the resulting method in the context of slice-to-volume registration. Moreover, our simulations suggest that the loss landscapes for the slice-to-volume registration problem are convex in the neighborhood of the optimal solution, and gradient-based registration promises a much faster solution than prevailing gradient-free optimization strategies. The proposed DRR generator enables fast computer vision algorithms to support image guidance in minimally invasive procedures. Our implementation is publically available at https://github.com/v715/DiffDRR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google