Self-Refinement Strategies for LLM-based Product Attribute Value Extraction

要約

属性値のペアの形式での構造化された製品データは、eコマースプラットフォームにとって、ファセット製品検索や属性ベースの製品比較などの機能をサポートするために不可欠です。
ただし、ベンダーはしばしば構造化されていない製品の説明を提供し、データの一貫性と使いやすさを確保するために属性値抽出を必要とします。
大規模な言語モデル（LLMS）は、少ないショットシナリオで製品属性値抽出の可能性を実証しています。
最近の研究では、自己修正技術がコード生成やテキスト間翻訳などのタスクでのLLMSのパフォーマンスを改善できることが示されています。
他のタスクの場合、これらの手法を適用すると、パフォーマンスの改善を達成することなく、追加のトークンの処理によりコストが増加しました。
このペーパーでは、製品属性値抽出タスクに2つの自己修復手法（エラーベースのプロンプトの書き換えと自己修正）を適用することを調査します。
自己修正技術は、GPT-4Oを使用して、ゼロショット、少数のショット内コンテキスト学習、および微調整シナリオで評価されます。
実験は、両方の自己修復技術が抽出パフォーマンスを大幅に改善できない一方で、処理コストを大幅に増加させることを示しています。
開発データを備えたシナリオの場合、微調整はパフォーマンスが最も高くなりますが、製品の説明の量が増えるにつれて、微調整のランプアップコストはバランスが取れています。

要約(オリジナル)

Structured product data, in the form of attribute-value pairs, is essential for e-commerce platforms to support features such as faceted product search and attribute-based product comparison. However, vendors often provide unstructured product descriptions, making attribute value extraction necessary to ensure data consistency and usability. Large language models (LLMs) have demonstrated their potential for product attribute value extraction in few-shot scenarios. Recent research has shown that self-refinement techniques can improve the performance of LLMs on tasks such as code generation and text-to-SQL translation. For other tasks, the application of these techniques has resulted in increased costs due to processing additional tokens, without achieving any improvement in performance. This paper investigates applying two self-refinement techniques (error-based prompt rewriting and self-correction) to the product attribute value extraction task. The self-refinement techniques are evaluated across zero-shot, few-shot in-context learning, and fine-tuning scenarios using GPT-4o. The experiments show that both self-refinement techniques fail to significantly improve the extraction performance while substantially increasing processing costs. For scenarios with development data, fine-tuning yields the highest performance, while the ramp-up costs of fine-tuning are balanced out as the amount of product descriptions increases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google