CoT-BERT: Enhancing Unsupervised Sentence Representation through Chain-of-Thought

要約

教師なし文表現学習は、ラベル付きデータへの依存を回避しながら、入力文を複雑な意味情報が豊富な固定長ベクトルに変換することを目的としています。
この分野における最近の進歩は、対照的な学習と迅速なエンジニアリングによって促進され、教師なし戦略と教師あり戦略の間のギャップを大幅に埋めてきました。
それにもかかわらず、思考連鎖の潜在的な利用法は、この軌道ではほとんど未開発のままです。
BERT などの事前トレーニング済みモデルの潜在的な機能を引き出すために、文章表現に対する理解と要約という 2 段階のアプローチを提案します。
続いて、後段の出力は入力文の埋め込みとして利用されます。
さらにパフォーマンスを向上させるために、ポジティブ インスタンスとネガティブ インスタンスのコントラストを組み込むことで拡張 InfoNCE Loss を導入します。
さらに、既存のテンプレートのノイズ除去技術も改良して、入力文に対するプロンプトの混乱的な影響をより適切に軽減します。
厳密な実験により、私たちの手法である CoT-BERT が、他のテキスト表現モデルや外部データベースを必要とせずに一連の堅牢なベースラインを超越していることが実証されました。

要約(オリジナル)

Unsupervised sentence representation learning aims to transform input sentences into fixed-length vectors enriched with intricate semantic information while obviating the reliance on labeled data. Recent progress within this field, propelled by contrastive learning and prompt engineering, has significantly bridged the gap between unsupervised and supervised strategies. Nonetheless, the potential utilization of Chain-of-Thought, remains largely untapped in this trajectory. To unlock the latent capabilities of pre-trained models, such as BERT, we propose a two-stage approach for sentence representation: comprehension and summarization. Subsequently, the output of the latter phase is harnessed as the embedding of the input sentence. For further performance enhancement, we introduce an extended InfoNCE Loss by incorporating the contrast between positive and negative instances. Additionally, we also refine the existing template denoising technique to better mitigate the perturbing influence of prompts on input sentences. Rigorous experimentation substantiates our method, CoT-BERT, transcending a suite of robust baselines without necessitating other text representation models or external databases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google