Unsupervised Echocardiography Registration through Patch-based MLPs and Transformers

要約

画像レジストレーションは、医用画像コンピューティング、特に解剖学的構造が他の画像診断法と比較して比較的ノイズが多い心エコー検査において不可欠ですが、困難な作業です。
従来の (非学習) 登録アプローチは、通常、時間の複雑さでコストがかかる類似性メトリックの反復最適化に依存しています。
近年、畳み込みニューラル ネットワーク (CNN) ベースの画像登録方法が有効性を示しています。
その間、最近の研究では、注意ベースのモデル (Transformer など) がパターン認識タスクで優れたパフォーマンスを発揮できることが示されています。
対照的に、Transformer の優れたパフォーマンスが長いアーキテクチャに由来するのか、それとも入力を分割するためのパッチの使用に起因するのかはまだ不明です.
この作業では、MLP とトランスフォーマーを使用してイメージを登録するための 3 つのパッチベースのフレームワークを紹介します。
前者の質問に部分的に答え、ベンチマーク ソリューションを提供するために、2D-心エコー検査登録に関する実験を提供します。
大規模な公開 2D 心エコー検査データセットに関する我々の結果は、パッチベースの MLP/Transformer モデルが教師なし心エコー検査登録に効果的に使用できることを示しています。
それらは、一般的な CNN 登録モデルに匹敵し、さらに優れた登録パフォーマンスを示しています。
特に、パッチベースのモデルは、ヤコビ行列式の観点からボリュームの変化をより適切に保存するため、非現実的な変形が少ない堅牢なレジストレーション フィールドが生成されます。
私たちの結果は、注意の有無にかかわらず、パッチベースの学習方法が、適切な時間と空間の複雑さで高性能の教師なし登録タスクを実行できることを示しています。
私たちのコードは https://gitlab.inria.fr/epione/mlp\_transformer\_registration で入手できます

要約(オリジナル)

Image registration is an essential but challenging task in medical image computing, especially for echocardiography, where the anatomical structures are relatively noisy compared to other imaging modalities. Traditional (non-learning) registration approaches rely on the iterative optimization of a similarity metric which is usually costly in time complexity. In recent years, convolutional neural network (CNN) based image registration methods have shown good effectiveness. In the meantime, recent studies show that the attention-based model (e.g., Transformer) can bring superior performance in pattern recognition tasks. In contrast, whether the superior performance of the Transformer comes from the long-winded architecture or is attributed to the use of patches for dividing the inputs is unclear yet. This work introduces three patch-based frameworks for image registration using MLPs and transformers. We provide experiments on 2D-echocardiography registration to answer the former question partially and provide a benchmark solution. Our results on a large public 2D echocardiography dataset show that the patch-based MLP/Transformer model can be effectively used for unsupervised echocardiography registration. They demonstrate comparable and even better registration performance than a popular CNN registration model. In particular, patch-based models better preserve volume changes in terms of Jacobian determinants, thus generating robust registration fields with less unrealistic deformation. Our results demonstrate that patch-based learning methods, whether with attention or not, can perform high-performance unsupervised registration tasks with adequate time and space complexity. Our codes are available https://gitlab.inria.fr/epione/mlp\_transformer\_registration

arxiv情報

提供元, 利用サービス

arxiv.jp, Google