Gricean Norms as a Basis for Effective Collaboration

要約

効果的な人間とのコラボレーションは、AIエージェントの明示的な指示に従う能力だけでなく、曖昧さ、不完全性、無効性、コミュニケーションにおける無関係性をナビゲートする能力にもかかっています。
Griceanの会話および推論の規範は、不明確な指示を協同組合の原則と整列させることにより、コラボレーションを促進します。
グライスの規範と認知フレームワーク（共通の基盤、関連性理論、心の理論）を大規模な言語モデル（LLM）ベースのエージェントに統合する規範的な枠組みを提案します。
規範的な枠組みは、griceanの格言を、推論とともに、曖昧な、不完全、無効、または無関係な指示を解釈するグライスの規範として推論とともに採用しています。
このフレームワーク内で、人間と協力するように設計されたLamoids、GPT-4パワーエージェントを導入します。
人間とのコラボレーションにおけるグライスの規範の影響を評価するために、ラモイドの2つのバージョンを評価します。1つは規範を持つものとないものです。
私たちの実験では、ラモイドが人間と協力して、明確で不明確な自然言語の両方の指示を解釈することにより、グリッドの世界（ドア、キー、宝石）で共有された目標を達成します。
我々の結果は、グライスの規範を持つラモイドがタスクの精度が高いことを示し、規範のないラモイドよりもより明確で正確で、文脈的に関連する反応を生成することを明らかにしています。
この改善は、エージェントの実用的な推論を強化し、LLMベースのエージェントでの効果的な人間とaiのコラボレーションを促進し、コンテキストを認識するコミュニケーションを可能にする規範的なフレームワークに由来します。

要約(オリジナル)

Effective human-AI collaboration hinges not only on the AI agent’s ability to follow explicit instructions but also on its capacity to navigate ambiguity, incompleteness, invalidity, and irrelevance in communication. Gricean conversational and inference norms facilitate collaboration by aligning unclear instructions with cooperative principles. We propose a normative framework that integrates Gricean norms and cognitive frameworks — common ground, relevance theory, and theory of mind — into large language model (LLM) based agents. The normative framework adopts the Gricean maxims of quantity, quality, relation, and manner, along with inference, as Gricean norms to interpret unclear instructions, which are: ambiguous, incomplete, invalid, or irrelevant. Within this framework, we introduce Lamoids, GPT-4 powered agents designed to collaborate with humans. To assess the influence of Gricean norms in human-AI collaboration, we evaluate two versions of a Lamoid: one with norms and one without. In our experiments, a Lamoid collaborates with a human to achieve shared goals in a grid world (Doors, Keys, and Gems) by interpreting both clear and unclear natural language instructions. Our results reveal that the Lamoid with Gricean norms achieves higher task accuracy and generates clearer, more accurate, and contextually relevant responses than the Lamoid without norms. This improvement stems from the normative framework, which enhances the agent’s pragmatic reasoning, fostering effective human-AI collaboration and enabling context-aware communication in LLM-based agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google