Enhancing Embedding Performance through Large Language Model-based Text Enrichment and Rewriting

要約

埋め込みモデルはさまざまな自然言語処理タスクにとって重要ですが、語彙の制限、コンテキストの欠如、文法エラーなどの要因によって制限される可能性があります。
この論文では、大規模言語モデル (LLM) を活用して埋め込みプロセスの前に入力テキストを強化および書き換えることにより、埋め込みパフォーマンスを向上させる新しいアプローチを提案します。
ChatGPT 3.5 を利用して追加のコンテキストを提供し、不正確さを修正し、メタデータを組み込むことで、提案された方法は埋め込みモデルの有用性と精度を向上させることを目的としています。
このアプローチの有効性は、Banking77Classification、TwitterSemEval 2015、Amazon Counter-factual Classification の 3 つのデータセットで評価されます。
結果は、TwitterSemEval 2015 データセットのベースライン モデルと比較して大幅な改善を示しており、Massive Text Embedding Benchmark (MTEB) リーダーボードでの以前の最高スコア 81.52 と比較して、最もパフォーマンスの高いプロンプトは 85.34 のスコアを達成しました。
ただし、他の 2 つのデータセットのパフォーマンスはそれほど印象的ではなく、ドメイン固有の特性を考慮することの重要性を浮き彫りにしました。
この調査結果は、LLM ベースのテキスト強化が、特に特定のドメインで埋め込みパフォーマンスを向上させる有望な結果を示していることを示唆しています。
したがって、埋め込みプロセスにおける多くの制限を回避できます。

要約(オリジナル)

Embedding models are crucial for various natural language processing tasks but can be limited by factors such as limited vocabulary, lack of context, and grammatical errors. This paper proposes a novel approach to improve embedding performance by leveraging large language models (LLMs) to enrich and rewrite input text before the embedding process. By utilizing ChatGPT 3.5 to provide additional context, correct inaccuracies, and incorporate metadata, the proposed method aims to enhance the utility and accuracy of embedding models. The effectiveness of this approach is evaluated on three datasets: Banking77Classification, TwitterSemEval 2015, and Amazon Counter-factual Classification. Results demonstrate significant improvements over the baseline model on the TwitterSemEval 2015 dataset, with the best-performing prompt achieving a score of 85.34 compared to the previous best of 81.52 on the Massive Text Embedding Benchmark (MTEB) Leaderboard. However, performance on the other two datasets was less impressive, highlighting the importance of considering domain-specific characteristics. The findings suggest that LLM-based text enrichment has shown promising results to improve embedding performance, particularly in certain domains. Hence, numerous limitations in the process of embedding can be avoided.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google