Improving Interpersonal Communication by Simulating Audiences with Language Models

要約

目標を達成するために、私たちはどのように他者とコミュニケーションをとるのだろうか。私たちは、これまでの経験や他の人からの助言を利用したり、それがどのように受け取られるかを予測して候補となる発話を組み立てたりする。しかし、私たちの経験は限定的で偏りがあり、潜在的な結果についての推論は難しく、認知的に困難な場合がある。本稿では、大規模言語モデル（Large Language Model: LLM）シミュレーションを活用することで、より良いコミュニケーションを実現する方法を探る。EGSは、個人が達成したい目標を持つ聴衆に対してコミュニケーションを行うあらゆるシナリオを入力とし、Explore-Generate-Simulate（EGS）フレームワークを提案する。EGSは、(1)シナリオに関連する多様なアドバイスのセットを生成することで解空間を探索し、(2)アドバイスのサブセットを条件としてコミュニケーション候補を生成し、(3)様々な聴衆からの反応をシミュレーションすることで、最適な候補とアドバイスを決定する。このフレームワークを、対人コミュニケーションの10の基本プロセスにまたがる8つのシナリオで評価する。各シナリオについて、候補とベースラインにわたる人間評価のデータセットを収集し、我々のフレームワークが選択した候補が、Chain-of-Thoughtを含む一般的な生成メカニズムよりも好ましいことを示す。また、8つのシナリオのうち5つのシナリオにおいて、聴衆シミュレーションが人間の評価者と適度に高い一致を達成することもわかった。最後に、本フレームワークを、ウェブフォーラムのユーザーによって記述された実世界のシナリオに適用することで、本フレームワークの汎用性を実証する。評価と実証を通じて、EGSが様々な状況においてゴール指向のコミュニケーションの有効性と成果を高めることを示し、コミュニケーションと意思決定プロセスに革命をもたらす大規模言語モデルの応用に新たな可能性を開く。

要約(オリジナル)

How do we communicate with others to achieve our goals? We use our prior experience or advice from others, or construct a candidate utterance by predicting how it will be received. However, our experiences are limited and biased, and reasoning about potential outcomes can be difficult and cognitively challenging. In this paper, we explore how we can leverage Large Language Model (LLM) simulations to help us communicate better. We propose the Explore-Generate-Simulate (EGS) framework, which takes as input any scenario where an individual is communicating to an audience with a goal they want to achieve. EGS (1) explores the solution space by producing a diverse set of advice relevant to the scenario, (2) generates communication candidates conditioned on subsets of the advice, and (3) simulates the reactions from various audiences to determine both the best candidate and advice to use. We evaluate the framework on eight scenarios spanning the ten fundamental processes of interpersonal communication. For each scenario, we collect a dataset of human evaluations across candidates and baselines, and showcase that our framework’s chosen candidate is preferred over popular generation mechanisms including Chain-of-Thought. We also find that audience simulations achieve reasonably high agreement with human raters across 5 of the 8 scenarios. Finally, we demonstrate the generality of our framework by applying it to real-world scenarios described by users on web forums. Through evaluations and demonstrations, we show that EGS enhances the effectiveness and outcomes of goal-oriented communication across a variety of situations, thus opening up new possibilities for the application of large language models in revolutionizing communication and decision-making processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL