CoT-BERT: Enhancing Unsupervised Sentence Representation through Chain-of-Thought

要約

教師なし文表現学習では、ラベル付きデータへの依存を回避しながら、入力文を複雑な意味情報が豊富な固定長ベクトルに変換しようとします。
この分野における最近の進歩は、対照的な学習と迅速なエンジニアリングにおける画期的な進歩によって大きく推進されました。
これらの進歩にもかかわらず、この分野は頭打ちになっており、一部の研究者は外部コンポーネントを組み込んで文埋め込みの品質を向上させています。
このような統合は有益ではありますが、ソリューションを複雑にし、計算リソースの需要を増大させます。
これらの課題に応えて、この論文では、思考連鎖推論の進歩的な思考を利用して、BERT のような事前トレーニング済みモデルの潜在能力を活用する革新的な手法である CoT-BERT を紹介します。
さらに、高度な対比学習損失関数を開発し、新しいテンプレートのノイズ除去戦略を提案します。
厳密な実験により、CoT-BERT は、事前トレーニングされたモデルの固有の強みのみに依存することにより、十分に確立されたベースラインの範囲を超えていることが実証されています。

要約(オリジナル)

Unsupervised sentence representation learning endeavors to transform input sentences into fixed-length vectors enriched with intricate semantic information while obviating the reliance on labeled data. Recent strides in this domain have been significantly propelled by breakthroughs in contrastive learning and prompt engineering. Despite these advancements, the field has reached a plateau, leading some researchers to incorporate external components to enhance sentence embeddings’ quality. Such integration, though beneficial, complicates the solutions and inflates the demand for computational resources. In response to these challenges, this paper presents CoT-BERT, an innovative method that harnesses the progressive thinking of Chain-of-Thought reasoning to tap into the latent potential of pre-trained models like BERT. Additionally, we develop an advanced contrastive learning loss function and propose a novel template denoising strategy. Rigorous experimentation substantiates CoT-BERT surpasses a range of well-established baselines by relying exclusively on the intrinsic strengths of pre-trained models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google