Test Time Training for 4D Medical Image Interpolation

要約

4次元医用画像補間は、臨床応用における時間分解能と診断精度の向上に不可欠である。これまでの研究では、分布シフトの問題を無視しているため、異なる分布下での汎化が不十分である。自然な解決策は、モデルを新しいテスト分布に適応させることであるが、テスト入力がグランドトゥルースラベル無しである場合、これは不可能である。本論文では、ラベルを必要とすることなく、モデルを新しい分布に適応させるために、自己監視を用いた新しいテスト時間学習フレームワークを提案する。実際、各テスト映像に対してフレーム補間を行う前に、回転予測や画像再構成のような自己教師タスクを用いて、同じインスタンスに対してモデルを学習する。我々は、一般に公開されている2つの4D医用画像補間データセット、Cardiacと4D-Lungを用いて実験を行った。実験の結果、提案手法は両データセットにおいて、様々な評価指標において有意な性能を達成した。その結果、提案手法は、Cardiacで33.73dB、4D-Lungで34.02dBという高いS/N比のピーク値を達成した。本手法は、4D医用画像補間を進歩させるだけでなく、画像分割や画像レジストレーションのような他の分野における領域適応のためのテンプレートも提供する。

要約(オリジナル)

4D medical image interpolation is essential for improving temporal resolution and diagnostic precision in clinical applications. Previous works ignore the problem of distribution shifts, resulting in poor generalization under different distribution. A natural solution would be to adapt the model to a new test distribution, but this cannot be done if the test input comes without a ground truth label. In this paper, we propose a novel test time training framework which uses self-supervision to adapt the model to a new distribution without requiring any labels. Indeed, before performing frame interpolation on each test video, the model is trained on the same instance using a self-supervised task, such as rotation prediction or image reconstruction. We conduct experiments on two publicly available 4D medical image interpolation datasets, Cardiac and 4D-Lung. The experimental results show that the proposed method achieves significant performance across various evaluation metrics on both datasets. It achieves higher peak signal-to-noise ratio values, 33.73dB on Cardiac and 34.02dB on 4D-Lung. Our method not only advances 4D medical image interpolation but also provides a template for domain adaptation in other fields such as image segmentation and image registration.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL