SpaER: Learning Spatio-temporal Equivariant Representations for Fetal Brain Motion Tracking

要約

この論文では、等変フィルターと自己注意メカニズムを活用して時空間表現を効果的に学習する、胎児の動きを追跡するための先駆的な方法である SpaER を紹介します。
画像のペアから胎児の脳の動きを静的に推定する従来のアプローチとは異なり、私たちの方法は、時間的および空間的次元にわたって児頭の厳密な動きのパターンを動的に追跡します。
具体的には、まず、画像の低次元空間表現を通じて剛体運動シーケンスを効率的に学習する等変ニューラル ネットワークを開発します。
続いて、時間エンコーディングとセルフアテンション ニューラル ネットワーク層を組み込むことにより、時空間表現を学習します。
このアプローチにより、胎児の脳の動きの長期的な依存関係を捉えることが可能になり、コントラストの変化や重大な動きアーチファクトによる位置合わせエラーに対処できます。
私たちのモデルは、すべての時間フレーム間の画像の歪みに適切に対処する幾何学的変形推定も提供します。
私たちの知る限り、私たちのアプローチは、データ拡張を行わずに胎児の動きを追跡するためのディープ ニューラル ネットワークを介して時空間表現を学習する最初のアプローチです。
私たちは、シミュレートされた動きと実際の動きを備えた実際の胎児エコー平面画像を使用してモデルを検証しました。
私たちの方法は、胎児 MRI シーケンスにおける胎児の動きを正確に測定、追跡、補正する上で重要な潜在的価値をもたらします。

要約(オリジナル)

In this paper, we introduce SpaER, a pioneering method for fetal motion tracking that leverages equivariant filters and self-attention mechanisms to effectively learn spatio-temporal representations. Different from conventional approaches that statically estimate fetal brain motions from pairs of images, our method dynamically tracks the rigid movement patterns of the fetal head across temporal and spatial dimensions. Specifically, we first develop an equivariant neural network that efficiently learns rigid motion sequences through low-dimensional spatial representations of images. Subsequently, we learn spatio-temporal representations by incorporating time encoding and self-attention neural network layers. This approach allows for the capture of long-term dependencies of fetal brain motion and addresses alignment errors due to contrast changes and severe motion artifacts. Our model also provides a geometric deformation estimation that properly addresses image distortions among all time frames. To the best of our knowledge, our approach is the first to learn spatial-temporal representations via deep neural networks for fetal motion tracking without data augmentation. We validated our model using real fetal echo-planar images with simulated and real motions. Our method carries significant potential value in accurately measuring, tracking, and correcting fetal motion in fetal MRI sequences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google