CoT-BERT: Enhancing Unsupervised Sentence Representation through Chain-of-Thought

要約

教師なし文表現学習は、ラベル付きデータへの依存を回避しながら、入力文を複雑な意味情報が豊富な固定長ベクトルに変換することを目的としています。
この分野における最近の進歩は、対照的な学習と迅速なエンジニアリングによって促進され、教師なし戦略と教師あり戦略の間のギャップを大幅に埋めてきました。
それにもかかわらず、思考連鎖の潜在的な利用法は、この軌道の中でほとんど未開発のままです。
BERT などの事前トレーニング済みモデル内の潜在的な機能を引き出すために、文章表現に対する理解と要約という 2 段階のアプローチを提案します。
その後、後者のフェーズの出力が入力文のベクトル化表現として利用されます。
さらなるパフォーマンス向上のために、プロンプトエンジニアリングのための対比学習損失関数とテンプレートノイズ除去技術の両方を細心の注意を払って改良しました。
厳密な実験により、私たちの手法である CoT-BERT が、他のテキスト表現モデルや外部データベースを必要とせずに一連の堅牢なベースラインを超越していることが実証されました。

要約(オリジナル)

Unsupervised sentence representation learning aims to transform input sentences into fixed-length vectors enriched with intricate semantic information while obviating the reliance on labeled data. Recent progress within this field, propelled by contrastive learning and prompt engineering, has significantly bridged the gap between unsupervised and supervised strategies. Nonetheless, the potential utilization of Chain-of-Thought, remains largely untapped within this trajectory. To unlock latent capabilities within pre-trained models, such as BERT, we propose a two-stage approach for sentence representation: comprehension and summarization. Subsequently, the output of the latter phase is harnessed as the vectorized representation of the input sentence. For further performance enhancement, we meticulously refine both the contrastive learning loss function and the template denoising technique for prompt engineering. Rigorous experimentation substantiates our method, CoT-BERT, transcending a suite of robust baselines without necessitating other text representation models or external databases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google