Measuring Bargaining Abilities of LLMs: A Benchmark and A Buyer-Enhancement Method

要約

交渉は人間間の交渉において重要かつ独特な部分です。
LLM 主導のエージェントが本物の人間のように交渉し、行動することを学ぶ一方で、エージェントの交渉能力をどのように評価するかは未解決の問題のままです。
私たちは初めて、交渉タスクを非対称の不完全情報ゲームとして正式に説明し、複数の交渉プロセスにおける買い手と売り手の利益を定義しました。
これにより、バーゲンタスクにおけるエージェントのパフォーマンスを定量的に評価することができます。
実際の製品価格データセットである AmazonHistoryPrice を収集し、さまざまな LLM エージェントの交渉能力の評価を実施しました。
買い手を演じるのは売り手よりもはるかに難しく、モデルのサイズを大きくしても買い手のパフォーマンスを効果的に向上させることはできないことがわかりました。
この課題に対処するために、バイヤーのオファーの価格帯を制御する決定論的なオファー ジェネレーターと、生成されたオファーの自然言語文を作成する LLM ナレーターを統合する、OG-Narrator と呼ばれる新しいアプローチを提案します。
実験結果は、OG-Narrator が購入者の取引率を 26.67% から 88.88% に改善し、調整されていないモデルであっても、すべてのベースラインで 10 倍の利益をもたらすことを示しています。

要約(オリジナル)

Bargaining is an important and unique part of negotiation between humans. As LLM-driven agents learn to negotiate and act like real humans, how to evaluate agents’ bargaining abilities remains an open problem. For the first time, we formally described the Bargaining task as an asymmetric incomplete information game, defining the gains of the Buyer and Seller in multiple bargaining processes. It allows us to quantitatively assess an agent’s performance in the Bargain task. We collected a real product price dataset, AmazonHistoryPrice, and conducted evaluations of various LLM agents’ bargaining abilities. We find that playing a Buyer is much harder than a Seller, and increasing model size can not effectively improve the Buyer’s performance. To address the challenge, we propose a novel approach called OG-Narrator that integrates a deterministic Offer Generator to control the price range of Buyer’s offers, and an LLM Narrator to create natural language sentences for generated offers. Experimental results show that OG-Narrator improves the buyer’s deal rates from 26.67% to 88.88% and brings a ten times of multiplication of profits on all baselines, even a model that has not been aligned.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google