Compositional Generalization for Multi-label Text Classification: A Data-Augmentation Approach

要約

マルチラベルテキスト分類の大幅な進歩にも関わらず、基本的な概念の組み合わせである新規かつめったに遭遇しない複雑な概念に一般化する既存のモデルの機能は、依然として研究されていません。
この研究はこのギャップに対処します。
3 つのベンチマークにわたって独自のデータ分割を作成することで、既存のマルチラベル テキスト分類モデルの構成的一般化能力を評価します。
私たちの結果は、これらのモデルがトレーニング中にめったに遭遇しない構成概念を一般化できないことが多く、これらの新しい組み合わせを使用したテストでのパフォーマンスが低下することを示しています。
これに対処するために、構成的一般化のための分類モデルの能力を強化するように設計された 2 つの革新的なテキスト生成モデルを活用するデータ拡張手法を導入します。
私たちの実験では、このデータ拡張アプローチにより、ベンチマークにおける分類モデルの構成一般化機能が大幅に向上し、どちらの生成モデルも他のテキスト生成ベースラインを上回っていることが示されました。

要約(オリジナル)

Despite significant advancements in multi-label text classification, the ability of existing models to generalize to novel and seldom-encountered complex concepts, which are compositions of elementary ones, remains underexplored. This research addresses this gap. By creating unique data splits across three benchmarks, we assess the compositional generalization ability of existing multi-label text classification models. Our results show that these models often fail to generalize to compositional concepts encountered infrequently during training, leading to inferior performance on tests with these new combinations. To address this, we introduce a data augmentation method that leverages two innovative text generation models designed to enhance the classification models’ capacity for compositional generalization. Our experiments show that this data augmentation approach significantly improves the compositional generalization capabilities of classification models on our benchmarks, with both generation models surpassing other text generation baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google