O1 Embedder: Let Retrievers Think Before Action

要約

大規模な言語モデル（LLMS）の成長力は、人々が情報にアクセスし、利用する方法に革命をもたらしました。
特に、LLMSは、詳細な情報表現を実行することに優れているため、情報の正確な検索が容易になります。
また、外部参照に基づいて高品質の回答を生成し、有用な知識の生産を可能にします。
Openai O1やDeepseek R1などの推論モデルの最近の導入は、最終的な回答を提供する前に徐々に考えるLLMSの能力を強調していることを強調しています。
このブレークスルーにより、複雑なタスク、たとえばコーディングや数学の証明に対処する機能が大幅に向上します。
この進歩に触発されて、私たちは検索モデルの同様の機能を開発することを目指しています。これは、マルチタスク検索、ゼロショット検索、複雑な関係の集中的な推論を必要とするタスクなど、現場での重要な課題に取り組むことに大きな期待を抱いています。
この動機付けにより、O1 Embedderと呼ばれる新しいアプローチを提案します。これは、ターゲットドキュメントの検索を行う前に、入力クエリに有用な思考を生成します。
この目的を実現するために、2つの技術的な困難を克服します。
まず、データ統合ワークフローを設計し、LLMエンパートから最初の思考を生成し、その後検索委員会を使用して精製することにより、O1埋め込みのトレーニング信号を作成します。
第二に、トレーニングプロセスを最適化し、事前に訓練されたモデルを共同で微調整して、動作のクローニングを介して検索思考を生成し、対照的な学習を通じて密な検索を実行できるようにします。
私たちのアプローチは、ドメイン内とドメイン外のシナリオの両方にまたがる12の一般的なデータセットで大幅な改善が達成される包括的な実験によって評価されます。
これらの結果は、O1 Embedderの顕著な精度と一般化可能性を強調し、次世代IR Foundationモデルの開発への道を開いています。

要約(オリジナル)

The growing power of large language models (LLMs) has revolutionized how people access and utilize information. Notably, the LLMs excel at performing fine-grained data representation, which facilitates precise retrieval of information. They also generate high-quality answers based on external references, enabling the production of useful knowledge. The recent introduction of reasoning models, like OpenAI O1 and DeepSeek R1, marks another leap forward, highlighting LLMs’ ability to think progressively before delivering final answers. This breakthrough significantly improves the ability to address complex tasks, e.g., coding and math proofs. Inspired by this progress, we aim to develop similar capabilities for retrieval models, which hold great promise for tackling critical challenges in the field, including multi-task retrieval, zero-shot retrieval, and tasks requiring intensive reasoning of complex relationships. With this motivation, we propose a novel approach called O1 Embedder, which generates useful thoughts for the input query before making retrieval for the target documents. To realize this objective, we conquer two technical difficulties. First, we design a data synthesis workflow, creating training signals for O1 Embedder by generating initial thoughts from an LLM-expert and subsequently refining them using a retrieval committee. Second, we optimize the training process, enabling a pre-trained model to be jointly fine-tuned to generate retrieval thoughts via behavior cloning and perform dense retrieval through contrastive learning. Our approach is evaluated by comprehensive experiments, where substantial improvements are achieved across 12 popular datasets, spanning both in-domain and out-of-domain scenarios. These results highlight O1 Embedder’s remarkable accuracy and generalizability, paving the way for the development of next-generation IR foundation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google