Retrieval Augmented Spelling Correction for E-Commerce Applications

要約

新しいブランド名が日常言語に急速に導入されることは、電子商取引のスペル修正サービスに特有の課題をもたらします。このサービスでは、本物のスペルミスと、慣習的でないスペルを使用する新しいブランド名を区別する必要があります。
私たちは、検索拡張生成 (RAG) を通じてこの課題に対処しようとしています。
このアプローチでは、製品名がカタログから取得され、文脈に応じたスペル修正を行うために微調整された大規模言語モデル (LLM) によって使用されるコンテキストに組み込まれます。
定量的評価と定性的エラー分析を通じて、スタンドアロン LLM を超えた RAG フレームワークを利用したスペル修正の改善が見られます。
また、取得したコンテキストを組み込むために LLM をさらに微調整することの価値も示します。

要約(オリジナル)

The rapid introduction of new brand names into everyday language poses a unique challenge for e-commerce spelling correction services, which must distinguish genuine misspellings from novel brand names that use unconventional spelling. We seek to address this challenge via Retrieval Augmented Generation (RAG). On this approach, product names are retrieved from a catalog and incorporated into the context used by a large language model (LLM) that has been fine-tuned to do contextual spelling correction. Through quantitative evaluation and qualitative error analyses, we find improvements in spelling correction utilizing the RAG framework beyond a stand-alone LLM. We also demonstrate the value of additional finetuning of the LLM to incorporate retrieved context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google