How Well Can LLMs Negotiate? NegotiationArena Platform and Analysis

要約

交渉は社会的交流の基礎です。
人間は、車の価格から共有資源の共有方法まで、あらゆることを交渉します。
人間のユーザーに代わってエージェントとして機能する大規模言語モデル (LLM) の使用への関心が急速に高まっているため、そのような LLM エージェントもネゴシエートできる必要があります。
この論文では、LLM が相互にどの程度うまく交渉できるかを研究します。
私たちは、LLM エージェントの交渉能力を評価および調査するための柔軟なフレームワークである NegotiationArena を開発しています。
NegotiationArena に 3 種類のシナリオを実装して、共有リソースの割り当て (最後通牒ゲーム)、リソースの集約 (トレーディング ゲーム)、商品の売買 (価格交渉) における LLM の動作を評価しました。
各シナリオでは、LLM エージェント間で柔軟な対話を複数回行うことができ、より複雑なネゴシエーションが可能になります。
興味深いことに、LLM エージェントは特定の行動戦術を採用することで、交渉の結果を大幅に向上させることができます。
たとえば、LLM は、絶望的で絶望的なふりをすることで、標準 GPT-4 に対して交渉する際の報酬を 20\% 向上させることができます。
また、LLM エージェントが示す不合理な交渉行動も定量化します。その多くは人間にも現れます。
\NegotiationArena は、LLM の相互作用を調査するための新しい環境を提供し、LLM の心の理論、非合理性、および推論能力についての新たな洞察を可能にします。

要約(オリジナル)

Negotiation is the basis of social interactions; humans negotiate everything from the price of cars to how to share common resources. With rapidly growing interest in using large language models (LLMs) to act as agents on behalf of human users, such LLM agents would also need to be able to negotiate. In this paper, we study how well LLMs can negotiate with each other. We develop NegotiationArena: a flexible framework for evaluating and probing the negotiation abilities of LLM agents. We implemented three types of scenarios in NegotiationArena to assess LLM’s behaviors in allocating shared resources (ultimatum games), aggregate resources (trading games) and buy/sell goods (price negotiations). Each scenario allows for multiple turns of flexible dialogues between LLM agents to allow for more complex negotiations. Interestingly, LLM agents can significantly boost their negotiation outcomes by employing certain behavioral tactics. For example, by pretending to be desolate and desperate, LLMs can improve their payoffs by 20\% when negotiating against the standard GPT-4. We also quantify irrational negotiation behaviors exhibited by the LLM agents, many of which also appear in humans. Together, \NegotiationArena offers a new environment to investigate LLM interactions, enabling new insights into LLM’s theory of mind, irrationality, and reasoning abilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google