SemiOccam: A Robust Semi-Supervised Image Recognition Network Using Sparse Labels

要約

Semioccamは、非常に効率的な方法で半学習学習を活用する画像認識ネットワークです。
既存の作業は、多くの場合、複雑なトレーニング技術とアーキテクチャに依存しており、トレーニングに数百時間のGPU時間が必要になりますが、非常に限られたラベルデータを扱う際の一般化能力はまだ改善されていません。
これらの制限に対処するために、特徴表現とターゲットクラスの間の相互情報を最適化し、重要な識別コンポーネントを保持しながら冗長な情報を圧縮することにより、階層混合密度分類決定メカニズムを構築します。
実験結果は、無視できるラベル付きサンプルを使用するときに、さまざまなデータセットで最先端のパフォーマンスを達成することを示しており、そのシンプルなアーキテクチャにより、トレーニング時間が微細なレベルまで維持されています。
特に、このペーパーでは、半監視学習タスクのSTL-10データセットに長く見られるデータリークの問題が明らかになり、複製を削除して実験結果の信頼性を確保します。
また、将来の半監視学習における公正で信頼できる研究を促進するために、重複排除されたCleanstl-10データセットをリリースします。
https://github.com/shu1l0n9/semioccamで入手可能なコード。

要約(オリジナル)

We present SemiOccam, an image recognition network that leverages semi-supervised learning in a highly efficient manner. Existing works often rely on complex training techniques and architectures, requiring hundreds of GPU hours for training, while their generalization ability when dealing with extremely limited labeled data remains to be improved. To address these limitations, we construct a hierarchical mixture density classification decision mechanism by optimizing mutual information between feature representations and target classes, compressing redundant information while retaining crucial discriminative components. Experimental results demonstrate that our method achieves state-of-the-art performance on various datasets when using negligible labeled samples, and its simple architecture keeps training time to minute-level. Notably, this paper reveals a long-overlooked data leakage issue in the STL-10 dataset for semi-supervised learning tasks and removes duplicates to ensure the reliability of experimental results. We also release the deduplicated CleanSTL-10 dataset to facilitate fair and reliable research in future semi-supervised learning. Code available at https://github.com/Shu1L0n9/SemiOccam.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google