Parameter-Efficient Transformer with Hybrid Axial-Attention for Medical Image Segmentation

要約

トランスフォーマーは、柔軟な自己注意メカニズムを使用する強力な機能により、医用画像分析で目覚ましい成功を収めました。
ただし、視覚構造情報のモデリングに固有の誘導バイアスがないため、一般に大規模な事前トレーニング スケジュールが必要であり、高価な小規模医療データに対する臨床応用が制限されます。
この目的のために、医用画像セグメンテーションの位置情報を介して固有の誘導バイアスを調査するためのパラメーター効率の高いトランスを提案します。
具体的には、さまざまな位置エンコード戦略が関心領域 (ROI) の予測品質にどのように影響するかを経験的に調査し、ROI が位置エンコード戦略に敏感であることを観察します。
これに動機付けられて、誘導バイアスとして空間ピクセル単位の情報と相対位置情報を装備できる位置自己注意の形式である、新しいハイブリッド軸方向注意 (HAA) を提示します。
さらに、トレーニング スケジュールの負担を軽減するためのゲーティング メカニズムを導入し、小規模なデータセットで効率的な機能選択を実現します。
BraTS および Covid19 データセットでの実験は、ベースラインおよび以前の研究に対する私たちの方法の優位性を証明しています。
私たちの成功をより適切に検証するために、解釈可能な内部ワークフローの視覚化が行われます。

要約(オリジナル)

Transformers have achieved remarkable success in medical image analysis owing to their powerful capability to use flexible self-attention mechanism. However, due to lacking intrinsic inductive bias in modeling visual structural information, they generally require a large-scale pre-training schedule, limiting the clinical applications over expensive small-scale medical data. To this end, we propose a parameter-efficient transformer to explore intrinsic inductive bias via position information for medical image segmentation. Specifically, we empirically investigate how different position encoding strategies affect the prediction quality of the region of interest (ROI), and observe that ROIs are sensitive to the position encoding strategies. Motivated by this, we present a novel Hybrid Axial-Attention (HAA), a form of position self-attention that can be equipped with spatial pixel-wise information and relative position information as inductive bias. Moreover, we introduce a gating mechanism to alleviate the burden of training schedule, resulting in efficient feature selection over small-scale datasets. Experiments on the BraTS and Covid19 datasets prove the superiority of our method over the baseline and previous works. Internal workflow visualization with interpretability is conducted to better validate our success.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google