Learning from Noisy Labels with Decoupled Meta Label Purifier

要約

ノイズの多いラベルを使用したディープ ニューラル ネットワーク (DNN) のトレーニングは困難です。DNN は不正確なラベルを簡単に記憶でき、一般化能力が低下するためです。
最近、メタ学習ベースのラベル修正戦略が広く採用され、クリーンな検証データの小さなセットを使用して潜在的なノイズの多いラベルを特定して修正することで、この問題に対処しています。
精製されたラベルを使用したトレーニングは効果的にパフォーマンスを向上させることができますが、メタ学習の問題を解決するには、必然的に、モデルの重みとハイパーパラメーター (つまり、ラベルの分布) の間のバイレベル最適化のネストされたループが必要になります。
妥協案として、以前の方法は、更新を交互に行う結合学習プロセスに頼っていました。
この論文では、モデルの重みとラベル分布の両方に対するこのような同時最適化は最適なルーチンを達成できず、その結果、バックボーンの表現能力と修正されたラベルの精度が制限されることが経験的にわかっています。
この観察から、DMLP という名前の新しい多段階ラベル精製器が提案されています。
DMLP は、ラベル修正プロセスを、ラベルのない表現学習と単純なメタ ラベル ピュリファイアーに分離します。
このように、DMLP は、2 つの異なる段階で、識別機能の抽出とラベルの修正に集中できます。
DMLP はプラグアンドプレイのラベル精製器であり、精製されたラベルは単純なエンドツーエンドのネットワーク再トレーニングまたはその他の堅牢な学習方法で直接再利用でき、最先端の結果がいくつかの合成および実際のラベルで得られます。
特に高いノイズレベルの下で、世界のノイズの多いデータセット。

要約(オリジナル)

Training deep neural networks(DNN) with noisy labels is challenging since DNN can easily memorize inaccurate labels, leading to poor generalization ability. Recently, the meta-learning based label correction strategy is widely adopted to tackle this problem via identifying and correcting potential noisy labels with the help of a small set of clean validation data. Although training with purified labels can effectively improve performance, solving the meta-learning problem inevitably involves a nested loop of bi-level optimization between model weights and hyper-parameters (i.e., label distribution). As compromise, previous methods resort to a coupled learning process with alternating update. In this paper, we empirically find such simultaneous optimization over both model weights and label distribution can not achieve an optimal routine, consequently limiting the representation ability of backbone and accuracy of corrected labels. From this observation, a novel multi-stage label purifier named DMLP is proposed. DMLP decouples the label correction process into label-free representation learning and a simple meta label purifier. In this way, DMLP can focus on extracting discriminative feature and label correction in two distinctive stages. DMLP is a plug-and-play label purifier, the purified labels can be directly reused in naive end-to-end network retraining or other robust learning methods, where state-of-the-art results are obtained on several synthetic and real-world noisy datasets, especially under high noise levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google