Training Over a Distribution of Hyperparameters for Enhanced Performance and Adaptability on Imbalanced Classification

要約

二値分類はよく研究されている問題であるが、深刻なクラス不均衡のもとで信頼性の高い分類器を訓練することは依然として課題である。最近の技術では、損失関数や最適化手法を変更することで、学習における不均衡の悪影響を軽減している。我々は、これらの損失関数のハイパーパラメータ値が異なると、異なる想起値でより良い結果が得られることを観察している。我々は、損失条件付き訓練（Loss Conditional Training: LCT）により、単一の値ではなく、ハイパーパラメータ値の分布上で1つのモデルを訓練することにより、この事実を利用することを提案する。実験によれば、ハイパーパラメータの分布に対する訓練は、複数のモデルの性能を近似するだけでなく、CIFARと、メラノーマや糖尿病性網膜症の検出のような実際の医療画像アプリケーションの両方において、モデルの全体的な性能を実際に向上させる。さらに、LCTを用いたモデルのトレーニングは、ゼロから再トレーニングする必要なく、個々のニーズに合わせてトレーニング後にハイパーパラメータのチューニングを行うことができるため、より効率的である。

要約(オリジナル)

Although binary classification is a well-studied problem, training reliable classifiers under severe class imbalance remains a challenge. Recent techniques mitigate the ill effects of imbalance on training by modifying the loss functions or optimization methods. We observe that different hyperparameter values on these loss functions perform better at different recall values. We propose to exploit this fact by training one model over a distribution of hyperparameter values–instead of a single value–via Loss Conditional Training (LCT). Experiments show that training over a distribution of hyperparameters not only approximates the performance of several models but actually improves the overall performance of models on both CIFAR and real medical imaging applications, such as melanoma and diabetic retinopathy detection. Furthermore, training models with LCT is more efficient because some hyperparameter tuning can be conducted after training to meet individual needs without needing to retrain from scratch.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL