Semi-Supervised Learning with Pseudo-Negative Labels for Image Classification

要約

半教師あり学習フレームワークは、通常、複数のサブモデルを使用した相互学習アプローチを採用して、さまざまな視点から学習します。
これらのサブモデル間で誤った疑似ラベルが転送されるのを避けるために、通常は高いしきい値を使用して、ラベル付けされていないデータの信頼性の低い多数の予測を除外します。
ただし、このようなフィルタリングでは、予測の信頼性が低いラベルのないデータを十分に活用することはできません。
この問題を克服するために、この作業では、疑似負のラベルに基づく相互学習フレームワークを提案します。
負のラベルは、対応するデータ項目が属していないものです。
各反復で、1 つのサブモデルが各データ項目の疑似ネガティブ ラベルを生成し、もう 1 つのサブモデルがこれらのラベルから学習します。
2 つのサブモデルの役割は、収束までの反復ごとに交換されます。
疑似陰性ラベルの予測確率を下げることで、デュアル モデルの予測能力を向上させることができます。
また、サブモデルにフィードするいくつかの疑似陰性ラベルを選択するメカニズムも提案します。
実験では、私たちのフレームワークはいくつかの主要なベンチマークで最先端の結果を達成しています。
具体的には、私たちのフレームワークでは、13 層 CNN モデルのエラー率は、1000 ラベルと 4000 ラベルの CIFAR-10 でそれぞれ 9.35% と 7.94% です。
さらに、ラベルが 20 個しかない拡張されていない MNIST の場合、フレームワークによるエラー率は 0.81% であり、他のアプローチよりもはるかに小さい値です。
私たちのアプローチは、ドメイン適応における大幅なパフォーマンスの向上も示しています。

要約(オリジナル)

Semi-supervised learning frameworks usually adopt mutual learning approaches with multiple submodels to learn from different perspectives. To avoid transferring erroneous pseudo labels between these submodels, a high threshold is usually used to filter out a large number of low-confidence predictions for unlabeled data. However, such filtering can not fully exploit unlabeled data with low prediction confidence. To overcome this problem, in this work, we propose a mutual learning framework based on pseudo-negative labels. Negative labels are those that a corresponding data item does not belong. In each iteration, one submodel generates pseudo-negative labels for each data item, and the other submodel learns from these labels. The role of the two submodels exchanges after each iteration until convergence. By reducing the prediction probability on pseudo-negative labels, the dual model can improve its prediction ability. We also propose a mechanism to select a few pseudo-negative labels to feed into submodels. In the experiments, our framework achieves state-of-the-art results on several main benchmarks. Specifically, with our framework, the error rates of the 13-layer CNN model are 9.35% and 7.94% for CIFAR-10 with 1000 and 4000 labels, respectively. In addition, for the non-augmented MNIST with only 20 labels, the error rate is 0.81% by our framework, which is much smaller than that of other approaches. Our approach also demonstrates a significant performance improvement in domain adaptation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google