Think Before You Speak: Cultivating Communication Skills of Large Language Models via Inner Monologue

要約

大規模言語モデル (LLM) の出現により、オープンドメイン対話システムの機能がさらに向上し、流暢で一貫性のある多様な応答を生成できるようになりました。
ただし、LLM にはコミュニケーション スキルという重要な能力がまだ欠けているため、擬人化されたチャットボットというよりは情報探索ツールに近いものになります。
会話中に LLM をより擬人化して積極的にするために、応答生成プロセスに 5 つのコミュニケーション スキル (トピックの移行、積極的な質問、コンセプトのガイダンス、共感、頻繁な要約) を追加します。
コミュニケーション スキルが加わると、ユーザーの会話への関心が高まり、より長くチャットするようになります。
LLM がコミュニケーション スキルをよりよく理解し、活用できるようにするために、私たちは LLM に内なる独白を設計して追加します。
完全なプロセスは、迅速なエンジニアリングと状況に応じた学習を通じて達成されます。
コミュニケーションスキルを評価するために、さまざまなコミュニケーションスキルを評価するためのCskillsというベンチマークを構築します。これにより、モデルの対話生成能力もより包括的に評価できます。
実験結果は、提案された CSIM 戦略がバックボーン モデルを改善し、自動評価と人間による評価の両方でベースラインを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

The emergence of large language models (LLMs) further improves the capabilities of open-domain dialogue systems and can generate fluent, coherent, and diverse responses. However, LLMs still lack an important ability: communication skills, which makes them more like information seeking tools than anthropomorphic chatbots. To make LLMs more anthropomorphic and proactive during the conversation, we add five communication skills to the response generation process: topic transition, proactively asking questions, concept guidance, empathy, and summarising often. The addition of communication skills increases the interest of users in the conversation and attracts them to chat for longer. To enable LLMs better understand and use communication skills, we design and add the inner monologue to LLMs. The complete process is achieved through prompt engineering and in-context learning. To evaluate communication skills, we construct a benchmark named Cskills for evaluating various communication skills, which can also more comprehensively evaluate the dialogue generation ability of the model. Experimental results show that the proposed CSIM strategy improves the backbone models and outperforms the baselines in both automatic and human evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google