Cross-attention learning enables real-time nonuniform rotational distortion correction in OCT

要約

不均一回転歪み (NURD) 補正は、内視鏡光干渉断層撮影 (OCT) イメージングや、血管造影やエラストグラフィーなどのその機能拡張にとって不可欠です。
現在の NURD 補正方法では、時間のかかる特徴追跡や相互相関計算が必要となるため、時間分解能が犠牲になります。
ここでは、OCT における NURD 補正のためのクロスアテンション学習方法を提案します。
私たちの手法は、自然言語処理とコンピューター ビジョンにおけるセルフ アテンション メカニズムの最近の成功に触発されています。
長距離依存関係をモデル化する機能を活用することで、任意の距離にある OCT A ライン間の相関関係を直接取得できるため、NURD 補正が高速化されます。
エンドツーエンドのスタック型クロスアテンション ネットワークを開発し、3 種類の最適化制約を設計します。
私たちは、2 つの公的に利用可能な内視鏡 OCT データセットと、自社製の内視鏡 OCT システムで収集されたプライベート データセットを対象として、2 つの従来の特徴ベースの方法および CNN ベースの方法と私たちの方法を比較します。
私たちの手法は $\sim3\times$ のリアルタイム ($26\pm 3$ fps) までの高速化と優れた補正パフォーマンスを達成しました。

要約(オリジナル)

Nonuniform rotational distortion (NURD) correction is vital for endoscopic optical coherence tomography (OCT) imaging and its functional extensions, such as angiography and elastography. Current NURD correction methods require time-consuming feature tracking or cross-correlation calculations and thus sacrifice temporal resolution. Here we propose a cross-attention learning method for the NURD correction in OCT. Our method is inspired by the recent success of the self-attention mechanism in natural language processing and computer vision. By leveraging its ability to model long-range dependencies, we can directly obtain the correlation between OCT A-lines at any distance, thus accelerating the NURD correction. We develop an end-to-end stacked cross-attention network and design three types of optimization constraints. We compare our method with two traditional feature-based methods and a CNN-based method, on two publicly-available endoscopic OCT datasets and a private dataset collected on our home-built endoscopic OCT system. Our method achieved a $\sim3\times$ speedup to real time ($26\pm 3$ fps), and superior correction performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google