The Devil is in the Labels: Noisy Label Correction for Robust Scene Graph Generation

要約

近年、不偏的なSGGは大きな進歩を遂げている。しかし、ほとんど全ての既存のSGGモデルは、一般的なSGGデータセットの真実のアノテーションの質を見落としている、すなわち、常に仮定している。すなわち、1）手動で注釈された全ての正サンプルは等しく正しい、2）注釈されていない全ての負サンプルは絶対的にバックグラウンドである、と仮定している。本論文では、この2つの仮定がSGGには適用できないことを主張する。これらの2つの仮定を破る「ノイズの多い」基底真理述語ラベルが多数存在し、これらのノイズの多いサンプルは実際に不偏なSGGモデルの学習に害を与える。このため、我々はSGGのための新しいモデル非依存的NoIsy label CorrEction戦略、NICEを提案する。NICEはノイズの多いサンプルを検出するだけでなく、より高品質な述語ラベルを再割り当てすることができる。NICEによる学習後、我々はモデル学習のために、よりクリーンなSGGデータセットを得ることができる。具体的には、NICEはネガティブノイズサンプル検出（Neg-NSD）、ポジティブNSD（Pos-NSD）、ノイズサンプル補正（NSC）の3つの要素から構成されています。まず、Neg-NSDでは、このタスクを分布外検出問題として定式化し、検出された全てのノイジーな負サンプルに擬似ラベルを付与する。次に、Pos-NSDでは、クラスタリングに基づくアルゴリズムを用いて全ての陽性サンプルを複数の集合に分割し、最もノイズの多い集合のサンプルをノイズの多い陽性サンプルとして扱う。最後に、NSCでは、単純だが効果的な重み付きKNNを用いて、ノイズの多い陽性サンプルに新しい述語ラベルを再割り当てする。NICEの各コンポーネントの有効性と汎化能力は、異なるバックボーンやタスクに対する広範な結果によって証明されている。

要約(オリジナル)

Unbiased SGG has achieved significant progress over recent years. However, almost all existing SGG models have overlooked the ground-truth annotation qualities of prevailing SGG datasets, i.e., they always assume: 1) all the manually annotated positive samples are equally correct; 2) all the un-annotated negative samples are absolutely background. In this paper, we argue that both assumptions are inapplicable to SGG: there are numerous ‘noisy’ groundtruth predicate labels that break these two assumptions, and these noisy samples actually harm the training of unbiased SGG models. To this end, we propose a novel model-agnostic NoIsy label CorrEction strategy for SGG: NICE. NICE can not only detect noisy samples but also reassign more high-quality predicate labels to them. After the NICE training, we can obtain a cleaner version of SGG dataset for model training. Specifically, NICE consists of three components: negative Noisy Sample Detection (Neg-NSD), positive NSD (Pos-NSD), and Noisy Sample Correction (NSC). Firstly, in Neg-NSD, we formulate this task as an out-of-distribution detection problem, and assign pseudo labels to all detected noisy negative samples. Then, in Pos-NSD, we use a clustering-based algorithm to divide all positive samples into multiple sets, and treat the samples in the noisiest set as noisy positive samples. Lastly, in NSC, we use a simple but effective weighted KNN to reassign new predicate labels to noisy positive samples. Extensive results on different backbones and tasks have attested to the effectiveness and generalization abilities of each component of NICE.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL