Group Distributionally Robust Knowledge Distillation

要約

知識の蒸留により、より大きなモデルから学習した機能をより小さなモデルに迅速かつ効果的に転送できます。
ただし、蒸留目標は部分母集団のシフトの影響を受けやすく、これはトレーニング セット内で過小評価されているデータのグループ/ドメインを指す医用画像解析の一般的なシナリオです。
たとえば、複数のスキャナーや病院から取得した健康データに基づいてモデルをトレーニングすると、少数派グループのパフォーマンスが標準以下になる可能性があります。
この論文では、分布ロバスト最適化 (DRO) 技術に触発され、グループを意識した蒸留損失を提案することでこの欠点に対処します。
最適化中に、特定の反復におけるグループごとの損失に基づいて重みのセットが更新されます。
このようにして、私たちの方法は、トレーニング中にパフォーマンスが低いグループに動的に焦点を当てることができます。
私たちは、2 つのベンチマーク データセット (自然画像と心臓 MRI) で手法である GroupDistil を経験的に検証し、最悪のグループ精度に関して一貫した改善を示しています。

要約(オリジナル)

Knowledge distillation enables fast and effective transfer of features learned from a bigger model to a smaller one. However, distillation objectives are susceptible to sub-population shifts, a common scenario in medical imaging analysis which refers to groups/domains of data that are underrepresented in the training set. For instance, training models on health data acquired from multiple scanners or hospitals can yield subpar performance for minority groups. In this paper, inspired by distributionally robust optimization (DRO) techniques, we address this shortcoming by proposing a group-aware distillation loss. During optimization, a set of weights is updated based on the per-group losses at a given iteration. This way, our method can dynamically focus on groups that have low performance during training. We empirically validate our method, GroupDistil on two benchmark datasets (natural images and cardiac MRIs) and show consistent improvement in terms of worst-group accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google