Mafin: Enhancing Black-Box Embeddings with Model Augmented Fine-Tuning

要約

検索拡張生成 (RAG) は、大規模言語モデル (LLM) における幻覚を軽減するための効果的なソリューションとして登場しました。
RAG の検索段階には通常、クエリとパッセージをベクトルに変換してセマンティクスをキャプチャする、事前トレーニングされた埋め込みモデルが含まれます。
ただし、標準の事前トレーニング済み埋め込みモデルは、特定のドメインの知識に適用すると次善のパフォーマンスを示す可能性があり、微調整が必​​要になります。
このペーパーでは、埋め込みがブラックボックス モデルからのみ利用できるシナリオについて説明します。
モデル拡張微調整 (Mafin) を紹介します。これは、ブラック ボックス埋め込みモデルをトレーニング可能な埋め込みモデルで拡張することで微調整するための新しいアプローチです。
私たちの結果は、Mafin が小規模な拡張モデルのトレーニングのみを必要とすることで、ブラック ボックス埋め込みのパフォーマンスを大幅に向上させることを示しています。
ラベル付きデータセットとラベルなしデータセットの両方でこの方法の有効性を検証し、その幅広い適用性と効率性を示します。

要約(オリジナル)

Retrieval Augmented Generation (RAG) has emerged as an effective solution for mitigating hallucinations in Large Language Models (LLMs). The retrieval stage in RAG typically involves a pre-trained embedding model, which converts queries and passages into vectors to capture their semantics. However, a standard pre-trained embedding model may exhibit sub-optimal performance when applied to specific domain knowledge, necessitating fine-tuning. This paper addresses scenarios where the embeddings are only available from a black-box model. We introduce Model augmented fine-tuning (Mafin) — a novel approach for fine-tuning a black-box embedding model by augmenting it with a trainable embedding model. Our results demonstrate that Mafin significantly enhances the performance of the black-box embeddings by only requiring the training of a small augmented model. We validate the effectiveness of our method on both labeled and unlabeled datasets, illustrating its broad applicability and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google