Machine Generated Product Advertisements: Benchmarking LLMs Against Human Performance

要約

この研究では、多面的な評価モデルを使用して、AI によって生成された製品説明と人間が作成した製品説明のパフォーマンスを比較しています。
4 つの AI モデル (Gemma 2B、LLAMA、GPT2、ChatGPT 4) によって生成された 100 個の製品の説明を、サンプル説明ありまたはなしで、人間が書いた説明と比較して分析します。
当社の評価指標には、センチメント、読みやすさ、説得力、検索エンジン最適化 (SEO)、明瞭さ、感情的な訴え、CTA の有効性が含まれます。
結果は、ChatGPT 4 が最高のパフォーマンスを発揮することを示しています。
対照的に、他のモデルには重大な欠点があり、論理構造と文脈の関連性を欠いた、一貫性がなく非論理的な出力が生成されます。
これらのモデルは、説明されている製品に焦点を当てるのに苦労し、意味のある情報を伝えない支離滅裂な文章になってしまいます。
この調査は、電子商取引のコンテンツ作成における AI の現在の機能と限界についての洞察を提供します。

要約(オリジナル)

This study compares the performance of AI-generated and human-written product descriptions using a multifaceted evaluation model. We analyze descriptions for 100 products generated by four AI models (Gemma 2B, LLAMA, GPT2, and ChatGPT 4) with and without sample descriptions, against human-written descriptions. Our evaluation metrics include sentiment, readability, persuasiveness, Search Engine Optimization(SEO), clarity, emotional appeal, and call-to-action effectiveness. The results indicate that ChatGPT 4 performs the best. In contrast, other models demonstrate significant shortcomings, producing incoherent and illogical output that lacks logical structure and contextual relevance. These models struggle to maintain focus on the product being described, resulting in disjointed sentences that do not convey meaningful information. This research provides insights into the current capabilities and limitations of AI in the creation of content for e-Commerce.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google