A Debiased Nearest Neighbors Framework for Multi-Label Text Classification

要約

マルチラベル テキスト分類 (MLTC) は、各ドキュメントに複数の非排他的なラベルを割り当てることを含む、実用的ではありますが、やりがいのあるタスクです。
これまでの研究は、特別なラベル付けスキームの導入、特定のモデル構造の設計、または補助タスクの追加によってラベルの予測を支援するためにラベルの相関関係をキャプチャすることに主に焦点を当てていました。
最近、$k$ 最近傍 ($k$NN) フレームワークは、埋め込み空間内のマイニング ラベル共起情報への参照としてラベル付きサンプルを取得することで有望性を示しています。
ただし、2 つの重要なバイアス、つまり埋め込みアライメント バイアスと信頼性推定バイアスは見落とされることが多く、予測パフォーマンスに悪影響を及ぼします。
このペーパーでは、これらのバイアスを軽減するために特別に設計された、MLTC 用の DEbiased Nearest Neighbors (DENN) フレームワークを紹介します。
埋め込みアライメントバイアスに対処するために、ラベルの共起における近隣整合性を強化する、バイアスを軽減した対比学習戦略を提案します。
信頼度推定バイアスについては、$k$NN と帰納的バイナリ分類からの予測の適応的な組み合わせを改善する、バイアスを軽減した信頼度推定戦略を提示します。
4 つの公開ベンチマーク データセット (つまり、AAPD、RCV1-V2、Amazon-531、および EUR-LEX57K) に対して行われた広範な実験により、提案された手法の有効性が実証されました。
さらに、私たちの方法では追加のパラメーターは導入しません。

要約(オリジナル)

Multi-Label Text Classification (MLTC) is a practical yet challenging task that involves assigning multiple non-exclusive labels to each document. Previous studies primarily focus on capturing label correlations to assist label prediction by introducing special labeling schemes, designing specific model structures, or adding auxiliary tasks. Recently, the $k$ Nearest Neighbor ($k$NN) framework has shown promise by retrieving labeled samples as references to mine label co-occurrence information in the embedding space. However, two critical biases, namely embedding alignment bias and confidence estimation bias, are often overlooked, adversely affecting prediction performance. In this paper, we introduce a DEbiased Nearest Neighbors (DENN) framework for MLTC, specifically designed to mitigate these biases. To address embedding alignment bias, we propose a debiased contrastive learning strategy, enhancing neighbor consistency on label co-occurrence. For confidence estimation bias, we present a debiased confidence estimation strategy, improving the adaptive combination of predictions from $k$NN and inductive binary classifications. Extensive experiments conducted on four public benchmark datasets (i.e., AAPD, RCV1-V2, Amazon-531, and EUR-LEX57K) showcase the effectiveness of our proposed method. Besides, our method does not introduce any extra parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google