Out-of-Distributed Semantic Pruning for Robust Semi-Supervised Learning

要約

堅牢な半教師あり学習 (SSL) の最近の進歩により、通常、分布外 (OOD) 情報がサンプル レベルでフィルタリングされます。
私たちは、堅牢な SSL の見落とされている問題は、セマンティック レベルでの情報の破損であり、この分野の発展を事実上制限していると主張します。
このペーパーでは、OOD セマンティック プルーニング (OSP) と呼ばれる統一フレームワークを調査および提案するための最初のステップを踏みます。このフレームワークは、ディストリビューション (ID) 機能から OOD セマンティクスを取り除くことを目的としています。
具体的には、(i) 各 ID サンプルを意味的重複のある OOD サンプルとペアにするエイリアシング OOD マッチング モジュールを提案します。
(ii) ソフト直交性正則化を設計します。これは、まず、ペアの OOD サンプルと共線性のある意味コンポーネントを抑制することによって各 ID 特徴を変換します。
次に、ソフト直交性分解の前後の予測が一致するように強制します。
実際にはシンプルなため、私たちの方法は、困難なベンチマークで OOD 検出と ID 分類において優れたパフォーマンスを示します。
特に、OSP は、TinyImageNet データセットでの ID 分類の精度で 13.7%、OOD 検出の AUROC で 5.9% 精度が以前の最先端技術を上回っています。
ソース コードは https://github.com/rain305f/OSP で公開されています。

要約(オリジナル)

Recent advances in robust semi-supervised learning (SSL) typically filter out-of-distribution (OOD) information at the sample level. We argue that an overlooked problem of robust SSL is its corrupted information on semantic level, practically limiting the development of the field. In this paper, we take an initial step to explore and propose a unified framework termed OOD Semantic Pruning (OSP), which aims at pruning OOD semantics out from in-distribution (ID) features. Specifically, (i) we propose an aliasing OOD matching module to pair each ID sample with an OOD sample with semantic overlap. (ii) We design a soft orthogonality regularization, which first transforms each ID feature by suppressing its semantic component that is collinear with paired OOD sample. It then forces the predictions before and after soft orthogonality decomposition to be consistent. Being practically simple, our method shows a strong performance in OOD detection and ID classification on challenging benchmarks. In particular, OSP surpasses the previous state-of-the-art by 13.7% on accuracy for ID classification and 5.9% on AUROC for OOD detection on TinyImageNet dataset. The source codes are publicly available at https://github.com/rain305f/OSP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google