Boundary-Refined Prototype Generation: A General End-to-End Paradigm for Semi-Supervised Semantic Segmentation

要約

プロトタイプベースの分類は機械学習における古典的な手法であり、最近では半教師ありセマンティック セグメンテーションにおいて目覚ましい成功を収めています。
ただし、現在のアプローチでは、プロトタイプの初期化プロセスがメインのトレーニング フレームワークから分離されており、これは不必要であるように見えます。
さらに、プロトタイプ生成に K 平均法アルゴリズムを直接使用すると、豊富なクラス内分散が考慮されますが、分類タスクにとっては最適な解決策ではない可能性があります。
これらの問題に取り組むために、トレーニング フレームワーク全体に組み込まれる新しい境界リファインド プロトタイプ生成 (BRPG) 手法を提案します。
具体的には、私たちのアプローチは、クラス境界に近いプロトタイプを生成することを目的として、信頼度のしきい値に基づいて信頼度の高い特徴と低い特徴を別々にサンプリングしてクラスター化します。
さらに、適応型プロトタイプ最適化戦略が導入され、特徴分布が散在するカテゴリーに対してプロトタイプの拡張が行われます。
PASCAL VOC 2012 および Cityscapes データセットに対する広範な実験により、提案された方法の優位性と拡張性が実証され、現在の最先端のアプローチを上回ります。
コードは、xxxxxxxxxxxxxx で入手できます。

要約(オリジナル)

Prototype-based classification is a classical method in machine learning, and recently it has achieved remarkable success in semi-supervised semantic segmentation. However, the current approach isolates the prototype initialization process from the main training framework, which appears to be unnecessary. Furthermore, while the direct use of K-Means algorithm for prototype generation has considered rich intra-class variance, it may not be the optimal solution for the classification task. To tackle these problems, we propose a novel boundary-refined prototype generation (BRPG) method, which is incorporated into the whole training framework. Specifically, our approach samples and clusters high- and low-confidence features separately based on a confidence threshold, aiming to generate prototypes closer to the class boundaries. Moreover, an adaptive prototype optimization strategy is introduced to make prototype augmentation for categories with scattered feature distributions. Extensive experiments on the PASCAL VOC 2012 and Cityscapes datasets demonstrate the superiority and scalability of the proposed method, outperforming the current state-of-the-art approaches. The code is available at xxxxxxxxxxxxxx.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google