MeshBrush: Painting the Anatomical Mesh with Neural Stylization for Endoscopy

要約

スタイルトランスファーは、医療内視鏡検査におけるシミュレーションと実際のギャップを埋める有望なアプローチです。
術前スキャン (MRI や CT など) をスキャンして合成内視鏡ビデオをレンダリングすると、構造的に正確なシミュレーションだけでなく、グラウンド トゥルース カメラのポーズや深度マップも生成できます。
CycleGAN などの画像間 (I2I) 変換モデルは、これらのシミュレーションからの現実的な内視鏡画像を模倣できますが、時間的な一貫性が欠如し、フレーム間にアーティファクトが発生するため、ビデオ間の合成には適していません。
微分可能なレンダリングで時間的に一貫したビデオを合成するニューラル メッシュの様式化手法である MeshBrush を提案します。
MeshBrush は、既存の I2I メソッドを活用しながら、患者の画像データの基礎となるジオメトリを使用します。
学習された頂点ごとのテクスチャにより、様式化されたメッシュは一貫性を保証しながら、忠実度の高い出力を生成します。
私たちは、メッシュのスタイル化が、トレーニング ネットワークや術前計画などの下流タスクの現実的なシミュレーションを作成するための有望なアプローチであることを実証します。
私たちの方法は尿管鏡検査用にテストおよび設計されていますが、そのコンポーネントは一般的な内視鏡および腹腔鏡検査にも応用可能です。
コードはGitHubで公開される予定です。

要約(オリジナル)

Style transfer is a promising approach to close the sim-to-real gap in medical endoscopy. Rendering synthetic endoscopic videos by traversing pre-operative scans (such as MRI or CT) can generate structurally accurate simulations as well as ground truth camera poses and depth maps. Although image-to-image (I2I) translation models such as CycleGAN can imitate realistic endoscopic images from these simulations, they are unsuitable for video-to-video synthesis due to the lack of temporal consistency, resulting in artifacts between frames. We propose MeshBrush, a neural mesh stylization method to synthesize temporally consistent videos with differentiable rendering. MeshBrush uses the underlying geometry of patient imaging data while leveraging existing I2I methods. With learned per-vertex textures, the stylized mesh guarantees consistency while producing high-fidelity outputs. We demonstrate that mesh stylization is a promising approach for creating realistic simulations for downstream tasks such as training networks and preoperative planning. Although our method is tested and designed for ureteroscopy, its components are transferable to general endoscopic and laparoscopic procedures. The code will be made public on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google