Representation Learning with Information Theory for COVID-19 Detection

要約

データ表現の成功は、機械学習に基づく医療画像解析の基本的な要因である。ディープラーニング（DL）は、ロバストな表現学習において不可欠な役割を担っている。しかし、ディープモデルが未見のデータに汎化できないため、すぐに複雑なパターンに過剰適合してしまいます。それによって、深層モデルがその本質的な特性を学習するために、データから有用なプリオールを発見することを支援する戦略を都合よく実装することができる。我々がデュアルロールネットワーク（DRN）と呼ぶモデルは、最小二乗相互情報（LSMI）に基づく依存性最大化アプローチを用いる。LSMIは、表現の不変性と局所的な滑らかさを保証するために、依存性尺度を活用する。先行研究では、密度推定ステップのために計算量が多いことで知られる相互情報のような情報理論的な尺度を用いているが、我々のLSMI定式化は、難解な相互情報推定の問題を緩和し、近似的に用いることができる。CTに基づくCOVID-19検出とCOVID-19重症度検出のベンチマークを用いた実験により、本手法の有効性を実証している。

要約(オリジナル)

Successful data representation is a fundamental factor in machine learning based medical imaging analysis. Deep Learning (DL) has taken an essential role in robust representation learning. However, the inability of deep models to generalize to unseen data can quickly overfit intricate patterns. Thereby, we can conveniently implement strategies to aid deep models in discovering useful priors from data to learn their intrinsic properties. Our model, which we call a dual role network (DRN), uses a dependency maximization approach based on Least Squared Mutual Information (LSMI). The LSMI leverages dependency measures to ensure representation invariance and local smoothness. While prior works have used information theory measures like mutual information, known to be computationally expensive due to a density estimation step, our LSMI formulation alleviates the issues of intractable mutual information estimation and can be used to approximate it. Experiments on CT based COVID-19 Detection and COVID-19 Severity Detection benchmarks demonstrate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL