CoT-MAE v2: Contextual Masked Auto-Encoder with Multi-view Modeling for Passage Retrieval

要約

タイトル：パッセージ検索のための多視点モデリング付きコンテキスチュアルマスクドオートエンコーダーのCoT-MAE v2

要約：パッセージ検索の性能向上のために新しい技術が登場している。コンテキスチュアルマスクドオートエンコーダーは、文脈の埋め込みを利用してパッセージの再構成を支援する効果的な表現のボトルネックの事前学習技術である。しかし、これは密な表現の事前学習に単一のオートエンコーディング前タスクのみを使用するため、限界がある。この研究では、コンテキスチュアルマスクドオートエンコーダーに多視点モデリングを導入する。まず、マルチビューモデルは、密なベクトルと疎なベクトルの両方をマルチビューモデル表現として利用し、異なる側面から文の意味を捉えることを目的としている。さらに、マルチビューデコーディングパラダイムは、表現のボトルネックの事前学習において、再構成と生成の両方のシグナルを提供するために、オートエンコーディングと自己回帰デコーダーの両方を使用することを目的としている。このマルチビュープレトレーニング法をCoT-MAE v2と呼ぶ。広範な実験を通じて、CoT-MAE v2が大規模なパッセージ検索ベンチマークとドメイン外ゼロショットベンチマークで効果的かつ堅牢であることを示している。

– パッセージ検索の性能を向上するために、技術が必要。
– コンテキスチュアルマスクドオートエンコーダーは、効果的な表現ボトルネックの事前学習技術。
– しかし、密な表現の事前学習に単一のオートエンコーディング前タスクのみを使用するため、限界がある。
– この研究では、コンテキスチュアルマスクドオートエンコーダーに多視点モデリングを導入する。
– マルチビューモデルは、異なる側面から文の意味を捉えることを目的とし、密なベクトルと疎なベクトルの両方を利用する。
– マルチビューデコーディングパラダイムは、再構成と生成の両方のシグナルを提供することを目的として、オートエンコーディングと自己回帰デコーダーの両方を使用することを目的とする。
– CoT-MAE v2は、広範な実験を通じて、大型パッセージ検索ベンチマークと異なるドメインのゼロショットベンチマークで効果的かつ堅牢であることが示されている。

要約(オリジナル)

Growing techniques have been emerging to improve the performance of passage retrieval. As an effective representation bottleneck pretraining technique, the contextual masked auto-encoder utilizes contextual embedding to assist in the reconstruction of passages. However, it only uses a single auto-encoding pre-task for dense representation pre-training. This study brings multi-view modeling to the contextual masked auto-encoder. Firstly, multi-view representation utilizes both dense and sparse vectors as multi-view representations, aiming to capture sentence semantics from different aspects. Moreover, multiview decoding paradigm utilizes both autoencoding and auto-regressive decoders in representation bottleneck pre-training, aiming to provide both reconstructive and generative signals for better contextual representation pretraining. We refer to this multi-view pretraining method as CoT-MAE v2. Through extensive experiments, we show that CoT-MAE v2 is effective and robust on large-scale passage retrieval benchmarks and out-of-domain zero-shot benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI