LMT: Longitudinal Mixing Training, a Framework to Predict Disease Progression from a Single Image

要約

縦断イメージングでは、静的な解剖学的構造と疾患進行の動的な変化の両方を捉えることができ、より早期でより適切な患者固有の病理管理を実現します。
しかし、従来のアプローチでは、特に糖尿病性網膜症（DR）の場合、検出や予測の目的で長期的な情報を活用することはほとんどありません。
過去数年間、縦断的なコンテキストを伴うミックスアップトレーニングと口実タスクにより、DR 分類結果が効果的に強化され、疾患の進行が把握されてきました。
一方、常微分方程式を解くために、ニューラルネットワークをブラックボックスとして扱う、ニューラル常微分方程式（NODE）と呼ばれる新しいタイプのニューラルネットワークが提案されている。
定義上、NODE は時間関連の問題を解決するのに適しています。
この論文では、これら 3 つの側面を組み合わせて DR の進行を検出および予測することを提案します。
私たちのフレームワークである縦断混合トレーニング (LMT) は、レギュラライザーとしても、潜在空間での疾患の進行をコード化する口実タスクとしても考えることができます。
さらに、標準および縦方向のプレテキスト タスクを使用して、縦方向のコンテキストを持つ下流タスクでトレーニングされたモデルの重みを評価します。
$t_{mix}$ (連続する 2 つの検査間の加重平均時間) を使用して、時間認識モデルをトレーニングする新しい方法を導入します。
縦方向の網膜カラー眼底写真 (CFP) データセットである OPHDIAT を使用して、DR 分類に関する標準的な混合トレーニングに対するアプローチを比較します。
ベースライン結果の 0.641 と比較して、AUC は 0.798 で、単一の画像を使用して次の来院で眼が重度の DR を発症するかどうかを予測することができました。
私たちの結果は、縦断的口実タスクが DR 疾患の進行を学習できること、そして $t_{mix}$ 拡張の導入が時間認識モデルにとって有益であることを示しています。

要約(オリジナル)

Longitudinal imaging is able to capture both static anatomical structures and dynamic changes in disease progression toward earlier and better patient-specific pathology management. However, conventional approaches rarely take advantage of longitudinal information for detection and prediction purposes, especially for Diabetic Retinopathy (DR). In the past years, Mix-up training and pretext tasks with longitudinal context have effectively enhanced DR classification results and captured disease progression. In the meantime, a novel type of neural network named Neural Ordinary Differential Equation (NODE) has been proposed for solving ordinary differential equations, with a neural network treated as a black box. By definition, NODE is well suited for solving time-related problems. In this paper, we propose to combine these three aspects to detect and predict DR progression. Our framework, Longitudinal Mixing Training (LMT), can be considered both as a regularizer and as a pretext task that encodes the disease progression in the latent space. Additionally, we evaluate the trained model weights on a downstream task with a longitudinal context using standard and longitudinal pretext tasks. We introduce a new way to train time-aware models using $t_{mix}$, a weighted average time between two consecutive examinations. We compare our approach to standard mixing training on DR classification using OPHDIAT a longitudinal retinal Color Fundus Photographs (CFP) dataset. We were able to predict whether an eye would develop a severe DR in the following visit using a single image, with an AUC of 0.798 compared to baseline results of 0.641. Our results indicate that our longitudinal pretext task can learn the progression of DR disease and that introducing $t_{mix}$ augmentation is beneficial for time-aware models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google