要約
目的: 低侵襲手術 (MIS) における一般的な高密度ステレオ同時位置特定およびマッピング (SLAM) アプローチは、リアルタイム実装のためにハイエンドの並列計算リソースを必要とします。
ただし、計算リソースをセグメンテーション、検出、追跡などの他のタスクに割り当てる必要があるため、常に実現可能であるとは限りません。
並列計算能力が限られているという問題を解決するために、この研究では、シングルコア CPU 上で動作し、リアルタイム パフォーマンス (通常のシナリオでは 30 Hz 以上) を達成する軽量の高密度ステレオ SLAM システムを目指しています。
方法: 新しい高密度ステレオ マッピング モジュールは ORB-SLAM2 システムと統合され、BDIS-SLAM と呼ばれます。
当社の新しい高密度ステレオ マッピング モジュールには、ステレオ マッチングおよび 3D 高密度深度モザイク手法が含まれています。
ステレオ マッチングは、最近提案された CPU レベルのリアルタイム マッチング アルゴリズムである Bayesian Dense Inverse Searching (BDIS) によって実現されます。
BDIS ベースの形状回復と深度モザイク戦略が新しいスレッドとして統合され、リアルタイムのステレオ形状回復のためにバックボーン ORB-SLAM2 システムと結合されています。
結果: 生体内データセットの実験では、BDIS-SLAM が典型的な内視鏡検査/結腸鏡検査シナリオにおいて最新のシングルコア CPU 上で 30 Hz 以上の速度で実行されることが示されました。
BDIS-SLAM は、バックボーン ORB-SLAM2 と比較して、さらに約 12% の時間を消費するだけです。
当社の軽量 BDIS-SLAM は、変形と融合の手順を無視することでプロセスを簡素化しますが、計算上の制約のあるデバイス上の最新の MIS に使用可能な高密度マッピングを提供できます。
結論: 提案された BDIS-SLAM は、MIS 用の軽量ステレオ高密度 SLAM システムです。
一般的な内視鏡検査/大腸内視鏡検査シナリオ (画像サイズ約 640*480) では、最新のシングルコア CPU で 30 Hz を達成します。
BDIS-SLAM は、MIS での高密度マッピングのための低コストのソリューションを提供し、手術ロボットや AR システムに適用される可能性があります。
要約(オリジナル)
Purpose: Common dense stereo Simultaneous Localization and Mapping (SLAM) approaches in Minimally Invasive Surgery (MIS) require high-end parallel computational resources for real-time implementation. Yet, it is not always feasible since the computational resources should be allocated to other tasks like segmentation, detection, and tracking. To solve the problem of limited parallel computational power, this research aims at a lightweight dense stereo SLAM system that works on a single-core CPU and achieves real-time performance (more than 30 Hz in typical scenarios). Methods: A new dense stereo mapping module is integrated with the ORB-SLAM2 system and named BDIS-SLAM. Our new dense stereo mapping module includes stereo matching and 3D dense depth mosaic methods. Stereo matching is achieved with the recently proposed CPU-level real-time matching algorithm Bayesian Dense Inverse Searching (BDIS). A BDIS-based shape recovery and a depth mosaic strategy are integrated as a new thread and coupled with the backbone ORB-SLAM2 system for real-time stereo shape recovery. Results: Experiments on in-vivo data sets show that BDIS-SLAM runs at over 30 Hz speed on modern single-core CPU in typical endoscopy/colonoscopy scenarios. BDIS-SLAM only consumes around an additional 12% time compared with the backbone ORB-SLAM2. Although our lightweight BDIS-SLAM simplifies the process by ignoring deformation and fusion procedures, it can provide a usable dense mapping for modern MIS on computationally constrained devices. Conclusion: The proposed BDIS-SLAM is a lightweight stereo dense SLAM system for MIS. It achieves 30 Hz on a modern single-core CPU in typical endoscopy/colonoscopy scenarios (image size around 640*480). BDIS-SLAM provides a low-cost solution for dense mapping in MIS and has the potential to be applied in surgical robots and AR systems.
arxiv情報
| 著者 | Jingwei Song,Ray Zhang,Qiuchen Zhu,Jianyu Lin,Maani Ghaffari |
| 発行日 | 2023-12-25 10:07:37+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google