Determined Multi-Label Learning via Similarity-Based Prompt

要約

マルチラベル分類では、各トレーニング インスタンスが同時に複数のクラス ラベルに関連付けられます。
残念ながら、実際のアプリケーションでは、各トレーニング インスタンスの完全に正確なクラス ラベルを収集するのは時間と労力がかかります。
この問題を軽減するために、\textit{Determined Multi-Label Learning} (DMLL) と呼ばれる新しいラベリング設定が提案され、マルチラベル タスクに固有のラベリング コストを効果的に軽減することを目的としています。
この新しいラベル設定では、各トレーニング インスタンスは、トレーニング インスタンスに指定されたクラス ラベルが含まれるかどうかを示す \textit{決定ラベル} (「はい」または「いいえ」) に関連付けられます。
提供されたクラス ラベルは、候補ラベル セット全体からランダムかつ均一に選択されます。
さらに、各トレーニング インスタンスを決定する必要があるのは 1 回だけであるため、マルチラベル データセットのラベル付けタスクのアノテーション コストが大幅に削減されます。
この論文では、これらの決定されたラベル付きトレーニング データからマルチラベル分類器を学習するためのリスク整合性推定量を理論的に導出します。
さらに、類似性に基づくプロンプト学習手法を初めて導入します。これにより、大規模な事前トレーニング済みモデルのリスク一貫性損失を最小限に抑え、より豊富なセマンティック情報を含む補足プロンプトを学習できます。
広範な実験による検証により、当社のアプローチの有効性が強調され、既存の最先端の方法と比較して優れたパフォーマンスが実証されました。

要約(オリジナル)

In multi-label classification, each training instance is associated with multiple class labels simultaneously. Unfortunately, collecting the fully precise class labels for each training instance is time- and labor-consuming for real-world applications. To alleviate this problem, a novel labeling setting termed \textit{Determined Multi-Label Learning} (DMLL) is proposed, aiming to effectively alleviate the labeling cost inherent in multi-label tasks. In this novel labeling setting, each training instance is associated with a \textit{determined label} (either ‘Yes’ or ‘No’), which indicates whether the training instance contains the provided class label. The provided class label is randomly and uniformly selected from the whole candidate labels set. Besides, each training instance only need to be determined once, which significantly reduce the annotation cost of the labeling task for multi-label datasets. In this paper, we theoretically derive an risk-consistent estimator to learn a multi-label classifier from these determined-labeled training data. Additionally, we introduce a similarity-based prompt learning method for the first time, which minimizes the risk-consistent loss of large-scale pre-trained models to learn a supplemental prompt with richer semantic information. Extensive experimental validation underscores the efficacy of our approach, demonstrating superior performance compared to existing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google