EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task Tasks for E-commerce

要約

最近、ChatGPT に代表される命令追従型大規模言語モデル (LLM) が、一般的な自然言語処理 (NLP) タスクにおいて優れたパフォーマンスを発揮しています。
ただし、電子商取引データの独特の特性は、一般的な LLM にとって大きな課題となります。
電子商取引シナリオに特化して調整された LLM は、堅牢なクロスデータセット/タスク一般化機能を備えており、緊急に必要です。
この問題を解決するために、この研究では、合計 250 万の命令データを含む最初の電子商取引命令データセット EcomInstruct を提案しました。
EcomInstruct は、製品情報、ユーザー レビューなどの電子商取引の基本データ タイプを使用してアトミック タスクを構築することにより、データ サイズとタスクの多様性をスケールアップします。
アトミック タスクは、最終タスクの解決に暗黙的に関与する中間タスクとして定義され、タスクチェーン タスクとも呼ばれます。
EcomInstruct を使用してバックボーン モデル BLOOMZ をトレーニングすることにより、さまざまなパラメーター スケールを備えた EcomGPT を開発しました。
EcomGPT は、タスクチェーンタスクから得られる基本的な意味理解機能の恩恵を受けて、優れたゼロショット汎化機能を示します。
広範な実験と人による評価により、E-commerce タスクにおけるデータセット/タスク間の一般化の点で、EcomGPT が ChatGPT よりも優れていることが実証されています。

要約(オリジナル)

Recently, instruction-following Large Language Models (LLMs) , represented by ChatGPT, have exhibited exceptional performance in general Natural Language Processing (NLP) tasks. However, the unique characteristics of E-commerce data pose significant challenges to general LLMs. An LLM tailored specifically for E-commerce scenarios, possessing robust cross-dataset/task generalization capabilities, is a pressing necessity. To solve this issue, in this work, we proposed the first e-commerce instruction dataset EcomInstruct, with a total of 2.5 million instruction data. EcomInstruct scales up the data size and task diversity by constructing atomic tasks with E-commerce basic data types, such as product information, user reviews. Atomic tasks are defined as intermediate tasks implicitly involved in solving a final task, which we also call Chain-of-Task tasks. We developed EcomGPT with different parameter scales by training the backbone model BLOOMZ with the EcomInstruct. Benefiting from the fundamental semantic understanding capabilities acquired from the Chain-of-Task tasks, EcomGPT exhibits excellent zero-shot generalization capabilities. Extensive experiments and human evaluations demonstrate that EcomGPT outperforms ChatGPT in term of cross-dataset/task generalization on E-commerce tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google