Fourier-Net: Fast Image Registration with Band-limited Deformation

要約

教師なしイメージ レジストレーションでは、通常、U-Net スタイルのネットワークを採用して、フル解像度の空間ドメインで高密度の変位場を予測します。
ただし、高解像度のボリューム画像データの場合、このプロセスはリソースを大量に消費し、時間がかかります。
この問題に取り組むために、U-Net スタイルのネットワークの拡張パスをパラメーターのないモデル駆動型デコーダーに置き換えるフーリエ ネットを提案します。
具体的には、空間ドメインでフル解像度の変位フィールドを出力するためのフーリエネット学習の代わりに、帯域制限されたフーリエドメインでの低次元表現を学習します。
次に、この表現は、考案されたモデル駆動型デコーダー (ゼロ パディング レイヤーと逆離散フーリエ変換レイヤーで構成される) によって、空間ドメインの高密度のフル解像度変位フィールドにデコードされます。
これらの変更により、教師なしフーリエネットに含まれるパラメーターと計算操作が少なくなり、推論速度が速くなります。
次に、Fourier-Net は、さまざまな最先端のアプローチに対して、2 つのパブリック 3D 脳データセットで評価されます。
たとえば、最近の変換ベースの方法、つまり TransMorph と比較すると、0.22$\%$ のパラメーターと 6.66$\%$ の mult-add のみを使用するフーリエネットは、0.6\% 高い値を達成します。
ダイス スコアと 11.48$\times$ 速い推論速度。
コードは \url{https://github.com/xi-jia/Fourier-Net} で入手できます。

要約(オリジナル)

Unsupervised image registration commonly adopts U-Net style networks to predict dense displacement fields in the full-resolution spatial domain. For high-resolution volumetric image data, this process is however resource intensive and time-consuming. To tackle this problem, we propose the Fourier-Net, replacing the expansive path in a U-Net style network with a parameter-free model-driven decoder. Specifically, instead of our Fourier-Net learning to output a full-resolution displacement field in the spatial domain, we learn its low-dimensional representation in a band-limited Fourier domain. This representation is then decoded by our devised model-driven decoder (consisting of a zero padding layer and an inverse discrete Fourier transform layer) to the dense, full-resolution displacement field in the spatial domain. These changes allow our unsupervised Fourier-Net to contain fewer parameters and computational operations, resulting in faster inference speeds. Fourier-Net is then evaluated on two public 3D brain datasets against various state-of-the-art approaches. For example, when compared to a recent transformer-based method, i.e., TransMorph, our Fourier-Net, only using 0.22$\%$ of its parameters and 6.66$\%$ of the mult-adds, achieves a 0.6\% higher Dice score and an 11.48$\times$ faster inference speed. Code is available at \url{https://github.com/xi-jia/Fourier-Net}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google