FissionFusion: Fast Geometric Generation and Hierarchical Souping for Medical Image Analysis

要約

十分に注釈付けされた医療データセットが少ないため、ImageNetのような広範なデータセットやCLIPのような事前に訓練されたモデルからの転移学習を活用する必要がある。モデルスープは、インドメイン（ID）タスクのパフォーマンスを向上させ、アウトオブディストリビューション（OOD）データセットに対する頑健性を高めることを目的とした、複数の微調整されたモデルを平均化したものである。しかし、これらの手法を医用画像領域に適用すると、課題に直面し、最適な性能とは言えない結果となる。これは主に、異質性、ドメインシフト、クラス不均衡、訓練段階とテスト段階の間の分布シフトなど、データの複雑性に起因するエラーサーフェス特性の違いによるものである。この問題に対処するため、我々は、モデルのハイパーパラメータ構成に基づく、様々なレベルでのモデルの局所的・大域的集約を含む、階層的マージアプローチを提案する。さらに、ハイパーパラメータ探索における多数のモデルのトレーニングの必要性を軽減するために、重み空間における集約のための複数のモデルを生成する、周期的学習率スケジューラを用いた計算効率の良い手法を導入する。本手法は、モデルの生成と選択にかかる計算コストを低く抑えながら、複数のデータセットにおいて、モデルスーピングアプローチに対する大幅な改善（HAM10000とCheXpertデータセットにおいて約6％の改善）を示す。さらに、OODデータセットでは、モデルスープよりも優れた結果を達成した。コードはhttps://github.com/BioMedIA-MBZUAI/FissionFusion。

要約(オリジナル)

The scarcity of well-annotated medical datasets requires leveraging transfer learning from broader datasets like ImageNet or pre-trained models like CLIP. Model soups averages multiple fine-tuned models aiming to improve performance on In-Domain (ID) tasks and enhance robustness against Out-of-Distribution (OOD) datasets. However, applying these methods to the medical imaging domain faces challenges and results in suboptimal performance. This is primarily due to differences in error surface characteristics that stem from data complexities such as heterogeneity, domain shift, class imbalance, and distributional shifts between training and testing phases. To address this issue, we propose a hierarchical merging approach that involves local and global aggregation of models at various levels based on models’ hyperparameter configurations. Furthermore, to alleviate the need for training a large number of models in the hyperparameter search, we introduce a computationally efficient method using a cyclical learning rate scheduler to produce multiple models for aggregation in the weight space. Our method demonstrates significant improvements over the model souping approach across multiple datasets (around 6% gain in HAM10000 and CheXpert datasets) while maintaining low computational costs for model generation and selection. Moreover, we achieve better results on OOD datasets than model soups. The code is available at https://github.com/BioMedIA-MBZUAI/FissionFusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL