Disjoint Contrastive Regression Learning for Multi-Sourced Annotations

要約

大規模なデータセットは、深層学習モデルの開発にとって重要です。
このようなデータセットでは通常、アノテーションという大量の作業負荷が必要となり、非常に時間と費用がかかります。
アノテーション手順を高速化するために、複数のアノテーターを使用してデータの異なるサブセットにラベルを付けることができます。
ただし、異なるアノテーター間の不一致と偏りは、特に定性的タスクや主観的タスクの場合、モデルのトレーニングに有害です。この課題に対処するために、この論文では、結合していないアノテーションの問題に対処するための新しい対照回帰フレームワークを提案します。
1 人のアノテーターのみによってラベルが付けられ、複数のアノテーターがデータの互いに素なサブセットを処理します。
アノテーター内の一貫性とアノテーター間の不一貫性の両方を考慮するために、2 つの戦略が使用されます。まず、対照ベースの損失を適用して、同じアノテーターの異なるサンプル間の相対的なランキングを学習します。
同じアノテーターからのサンプルは全員一致です。
次に、勾配反転レイヤーを適用して、さまざまなアノテーターに対して不変である堅牢な表現を学習します。
顔の表情予測タスクと画質評価タスクの実験により、提案したフレームワークの有効性が検証されます。

要約(オリジナル)

Large-scale datasets are important for the development of deep learning models. Such datasets usually require a heavy workload of annotations, which are extremely time-consuming and expensive. To accelerate the annotation procedure, multiple annotators may be employed to label different subsets of the data. However, the inconsistency and bias among different annotators are harmful to the model training, especially for qualitative and subjective tasks.To address this challenge, in this paper, we propose a novel contrastive regression framework to address the disjoint annotations problem, where each sample is labeled by only one annotator and multiple annotators work on disjoint subsets of the data. To take account of both the intra-annotator consistency and inter-annotator inconsistency, two strategies are employed.Firstly, a contrastive-based loss is applied to learn the relative ranking among different samples of the same annotator, with the assumption that the ranking of samples from the same annotator is unanimous. Secondly, we apply the gradient reversal layer to learn robust representations that are invariant to different annotators. Experiments on the facial expression prediction task, as well as the image quality assessment task, verify the effectiveness of our proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google