SMOTExT: SMOTE meets Large Language Models

要約

データ不足とクラスの不均衡は、特に特別なドメインまたは低リソース設定での堅牢なNLPモデルのトレーニングにおける永続的な課題です。
合成マイノリティオーバーサンプリング（スモート）のアイデアをテキストデータに適応させる新しいテクニック、スモテキストを提案します。
私たちの方法は、2つの既存の例のBERTベースの埋め込みを補間し、結果の潜在点をXRAGアーキテクチャを使用してテキストに解読することにより、新しい合成例を生成します。
XRAGのクロスモーダル検索系フレームワークを活用することにより、補間ベクトルをコヒーレントテキストに効果的に変えることができます。
これは定性的出力のみによってサポートされる予備作業ですが、この方法は、少ないショット設定での知識の蒸留とデータ増強の強力な可能性を示しています。
特に、私たちのアプローチは、プライバシーを提供する機械学習の可能性も示しています。初期の実験では、生成されたデータのみでモデルをトレーニングし、元のデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成しました。
これは、データ保護の制約の下で安全で効果的な学習への実行可能なパスを示唆しています。

要約(オリジナル)

Data scarcity and class imbalance are persistent challenges in training robust NLP models, especially in specialized domains or low-resource settings. We propose a novel technique, SMOTExT, that adapts the idea of Synthetic Minority Over-sampling (SMOTE) to textual data. Our method generates new synthetic examples by interpolating between BERT-based embeddings of two existing examples and then decoding the resulting latent point into text with xRAG architecture. By leveraging xRAG’s cross-modal retrieval-generation framework, we can effectively turn interpolated vectors into coherent text. While this is preliminary work supported by qualitative outputs only, the method shows strong potential for knowledge distillation and data augmentation in few-shot settings. Notably, our approach also shows promise for privacy-preserving machine learning: in early experiments, training models solely on generated data achieved comparable performance to models trained on the original dataset. This suggests a viable path toward safe and effective learning under data protection constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google