CoactSeg: Learning from Heterogeneous Data for New Multiple Sclerosis Lesion Segmentation

要約

新しい病変のセグメンテーションは、多発性硬化症 (MS) の臨床治療中に疾患の進行と治療効果を推定するために不可欠です。
ただし、高価なデータ取得と専門家による注釈により、大規模な深層学習モデルの適用の実現可能性が制限されます。
全病変ラベルを持つ単一時点のサンプルは比較的簡単に収集できるため、新しい病変のセグメンテーションを改善するには、それらを活用して深いモデルをトレーニングすることが非常に望ましいです。
したがって、我々は、新しいMS病変セグメンテーションのために異種データ（すなわち、新規病変の注釈付き2時点データおよび全病変の注釈付き単一時点データ）を活用するための協調セグメンテーション（CoactSeg）フレームワークを提案しました。
CoactSeg モデルは、同じ 3 つの入力 (ベースライン、フォローアップ、およびそれらの縦方向の脳の違い) と同じ 3 つの出力 (対応する全病変予測および新規病変予測) を備えた統合モデルとして設計されています。
異種データが使用されています。
さらに、モデル学習を改善するために 3 つの出力間の縦方向の関係を保証するための、シンプルで効果的な関係正則化が提案されています。
広範な実験により、異種データと提案された縦方向関係制約を利用すると、新規病変と全病変の両方のセグメンテーション タスクのパフォーマンスが大幅に向上することが実証されました。
一方、全病変ラベルが付いた 38 のオセアニアの単一時点サンプルを含む社内 MS-23v1 データセットも導入しています。
コードとデータセットは https://github.com/ycwu1997/CoactSeg でリリースされています。

要約(オリジナル)

New lesion segmentation is essential to estimate the disease progression and therapeutic effects during multiple sclerosis (MS) clinical treatments. However, the expensive data acquisition and expert annotation restrict the feasibility of applying large-scale deep learning models. Since single-time-point samples with all-lesion labels are relatively easy to collect, exploiting them to train deep models is highly desirable to improve new lesion segmentation. Therefore, we proposed a coaction segmentation (CoactSeg) framework to exploit the heterogeneous data (i.e., new-lesion annotated two-time-point data and all-lesion annotated single-time-point data) for new MS lesion segmentation. The CoactSeg model is designed as a unified model, with the same three inputs (the baseline, follow-up, and their longitudinal brain differences) and the same three outputs (the corresponding all-lesion and new-lesion predictions), no matter which type of heterogeneous data is being used. Moreover, a simple and effective relation regularization is proposed to ensure the longitudinal relations among the three outputs to improve the model learning. Extensive experiments demonstrate that utilizing the heterogeneous data and the proposed longitudinal relation constraint can significantly improve the performance for both new-lesion and all-lesion segmentation tasks. Meanwhile, we also introduce an in-house MS-23v1 dataset, including 38 Oceania single-time-point samples with all-lesion labels. Codes and the dataset are released at https://github.com/ycwu1997/CoactSeg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google