Learning Temporally Equivariance for Degenerative Disease Progression in OCT by Predicting Future Representations

要約

コントラスト事前トレーニングは、さまざまな画像変換に対する不変性を保証すると同時に表現の崩壊を防ぐことで、堅牢な表現を提供します。
一方、等変対比学習は、他の画像変換に対して不変のままでありながら、特定の画像変換に敏感な表現を提供します。
縦方向イメージングにおける疾患に関連した解剖学的変化など、時間に起因する変換に等変性を導入することにより、モデルは表現空間におけるそのような変化を効果的に捉えることができます。
この研究では、時間等変対照学習 (TC) 手法を提案します。
まず、エンコーダは、同じ患者の異なる時点からの 2 つのラベルなしスキャンを表現空間に埋め込みます。
次に、時間的等分散モジュールは、無関係な画像変換に対する不変特性を維持しながら、前の訪問の 1 つからの表現と、新しい正則化損失項を使用した対応する時間間隔に基づいて、後の訪問の表現を予測するようにトレーニングされます。
大規模な縦断データセット上で、我々のモデルは、指定された時間枠内で中期加齢黄斑変性症（AMD）から進行性湿性AMDへの進行を予測する際に、既存の等変対比法よりも明らかに優れています。

要約(オリジナル)

Contrastive pretraining provides robust representations by ensuring their invariance to different image transformations while simultaneously preventing representational collapse. Equivariant contrastive learning, on the other hand, provides representations sensitive to specific image transformations while remaining invariant to others. By introducing equivariance to time-induced transformations, such as disease-related anatomical changes in longitudinal imaging, the model can effectively capture such changes in the representation space. In this work, we propose a Time-equivariant Contrastive Learning (TC) method. First, an encoder embeds two unlabeled scans from different time points of the same patient into the representation space. Next, a temporal equivariance module is trained to predict the representation of a later visit based on the representation from one of the previous visits and the corresponding time interval with a novel regularization loss term while preserving the invariance property to irrelevant image transformations. On a large longitudinal dataset, our model clearly outperforms existing equivariant contrastive methods in predicting progression from intermediate age-related macular degeneration (AMD) to advanced wet-AMD within a specified time-window.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google