Automated Self-Refinement and Self-Correction for LLM-based Product Attribute Value Extraction

要約

属性と値のペアの形で構造化された製品データは、ファセット化された製品検索や属性ベースの製品比較などの機能をサポートするために、eコマース・プラットフォームにとって不可欠です。しかし、ベンダーは構造化されていない商品説明を提供することが多く、データの一貫性とユーザビリティを確保するために属性値の抽出が必要となります。大規模言語モデル（LLM）は、数ショットのシナリオで製品の属性値抽出の可能性を実証してきた。最近の研究では、コード生成やテキストからSQLへの翻訳などのタスクにおいて、自己洗練技術がLLMの性能を向上させることが示されている。他のタスクでは、これらの技術を適用しても、性能の向上は得られないまま、トークンの追加処理によるコスト増を招いている。本稿では、エラーベースのプロンプト書き換えと自己修正という2つの自己洗練技術を、商品属性値抽出タスクに適用することを検討する。GPT-4oを用いて、ゼロショット、数ショットのインコンテキスト学習、および微調整シナリオにおいて、自己洗練技術を評価した。実験の結果、自己洗練技術は、処理コストを大幅に増加させる一方で、異なるシナリオにおいて、モデルの性能にわずかな影響しか与えないことが示された。トレーニングデータによるシナリオでは、ファインチューニングが最も高い性能をもたらすが、ファインチューニングのランプアップコストは、商品説明の量が増えるにつれて均衡が保たれる。

要約(オリジナル)

Structured product data, in the form of attribute-value pairs, is essential for e-commerce platforms to support features such as faceted product search and attribute-based product comparison. However, vendors often provide unstructured product descriptions, making attribute value extraction necessary to ensure data consistency and usability. Large language models (LLMs) have demonstrated their potential for product attribute value extraction in few-shot scenarios. Recent research has shown that self-refinement techniques can improve the performance of LLMs on tasks such as code generation and text-to-SQL translation. For other tasks, the application of these techniques has resulted in increased costs due to processing additional tokens, without achieving any improvement in performance. This paper investigates applying two self-refinement techniques, error-based prompt rewriting and self-correction, to the product attribute value extraction task. The self-refinement techniques are evaluated across zero-shot, few-shot in-context learning, and fine-tuning scenarios using GPT-4o. The experiments show that both self-refinement techniques have only a marginal impact on the model’s performance across the different scenarios, while significantly increasing processing costs. For scenarios with training data, fine-tuning yields the highest performance, while the ramp-up costs of fine-tuning are balanced out as the amount of product descriptions increases.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL