RankUp: Boosting Semi-Supervised Regression with an Auxiliary Ranking Classifier

要約

FixMatch やその亜種などの最先端 (SOTA) 半教師あり学習手法は、分類タスクにおいて優れたパフォーマンスを実証しています。
ただし、これらの方法は回帰タスクには直接適用できません。
このペーパーでは、既存の半教師あり分類手法を適応させて回帰タスクのパフォーマンスを向上させる、シンプルかつ効果的なアプローチである RankUp を紹介します。
RankUp は、元の回帰タスクをランキング問題に変換し、それを元の回帰目標と同時にトレーニングすることでこれを実現します。
この補助ランキング分類器は分類結果を出力するため、既存の半教師あり分類手法との統合が可能になります。
さらに、回帰分布アライメント (RDA) を導入します。これは、分布アライメントを通じて疑似ラベルを改良することで RankUp のパフォーマンスをさらに向上させる補完的な手法です。
RankUp はそのシンプルさにも関わらず、RDA の有無にかかわらず、コンピューター ビジョン、オーディオ、自然言語処理タスクなど、さまざまな回帰ベンチマークで SOTA の結果を達成します。
コードとログ データは https://github.com/pm25/semi-supervised-regression でオープンソース化されています。

要約(オリジナル)

State-of-the-art (SOTA) semi-supervised learning techniques, such as FixMatch and it’s variants, have demonstrated impressive performance in classification tasks. However, these methods are not directly applicable to regression tasks. In this paper, we present RankUp, a simple yet effective approach that adapts existing semi-supervised classification techniques to enhance the performance of regression tasks. RankUp achieves this by converting the original regression task into a ranking problem and training it concurrently with the original regression objective. This auxiliary ranking classifier outputs a classification result, thus enabling integration with existing semi-supervised classification methods. Moreover, we introduce regression distribution alignment (RDA), a complementary technique that further enhances RankUp’s performance by refining pseudo-labels through distribution alignment. Despite its simplicity, RankUp, with or without RDA, achieves SOTA results in across a range of regression benchmarks, including computer vision, audio, and natural language processing tasks. Our code and log data are open-sourced at https://github.com/pm25/semi-supervised-regression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google