GASE: Generatively Augmented Sentence Encoding

要約

推論時のデータ拡張に生成テキスト モデルを適用することで、文の埋め込みを強化するアプローチを提案します。
合成トレーニング データを利用する従来のデータ拡張とは異なり、私たちのアプローチは、モデル パラメーターや最先端モデルの微調整に通常必要とされる計算リソースへのアクセスを必要としません。
生成拡張文エンコーディングでは、キーワードの言い換え、要約、抽出によって生成された入力テキストの多様な言語合成バリアントを使用し、その後、元の埋め込みと合成埋め込みをプールします。
セマンティック テキスト類似性 (STS) の大規模テキスト埋め込みベンチマークの実験結果では、拡張にさまざまな生成モデルを使用することで、さまざまな埋め込みモデル全体でパフォーマンスが向上することが実証されています。
生成拡張により、ベースライン パフォーマンスが低い埋め込みモデルのパフォーマンスが大幅に向上することがわかりました。
これらの発見は、推論時に生成拡張を統合すると、意味の多様性が追加され、埋め込みモデルの文埋め込みの堅牢性と一般化可能性が向上する可能性があることを示唆しています。
私たちの結果は、生成拡張によって STS パフォーマンスがどの程度改善されるかは、埋め込みモデルだけでなくデータセットにも依存することを示しています。
より広い観点から見ると、このアプローチにより、推論コンピューティングのトレーディング トレーニングが可能になります。

要約(オリジナル)

We propose an approach to enhance sentence embeddings by applying generative text models for data augmentation at inference time. Unlike conventional data augmentation that utilises synthetic training data, our approach does not require access to model parameters or the computational resources typically required for fine-tuning state-of-the-art models. Generatively Augmented Sentence Encoding uses diverse linguistic synthetic variants of input texts generated by paraphrasing, summarising, or extracting keywords, followed by pooling the original and synthetic embeddings. Experimental results on the Massive Text Embedding Benchmark for Semantic Textual Similarity (STS) demonstrate performance improvements across a range of embedding models using different generative models for augmentation. We find that generative augmentation leads to larger performance improvements for embedding models with lower baseline performance. These findings suggest that integrating generative augmentation at inference time adds semantic diversity and can enhance the robustness and generalizability of sentence embeddings for embedding models. Our results show that the degree to which generative augmentation can improve STS performance depends not only on the embedding model but also on the dataset. From a broader perspective, the approach allows trading training for inference compute.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google