Language Models in Dialogue: Conversational Maxims for Human-AI Interactions

要約

現代の言語モデルは洗練されていますが、特に会話環境においては固有の欠点がいくつかあります。
私たちは、観察された欠点の多くは、1 つ以上の会話原則の違反に起因する可能性があると主張します。
社会科学と AI コミュニティの両方からの広範な研究を活用することで、人間と AI の効果的な会話を説明するための一連の格言 (量、質、関連性、マナー、慈悲、透明性) を提案します。
まず、最初の 4 つの格率 (Grice から) が人間と AI の相互作用の文脈で適用可能であることを正当化します。
次に、現代の人間 AI に特有の行動に対処するには、善意 (有害なコンテンツの生成と関与に関する) と透明性 (自分の知識の境界、操作上の制約、および意図の認識に関する) という 2 つの新しい格言が必要であると主張します。
相互作用。
提案された格言は、人間と LLM 主導の会話エージェントとの間の会話の品質を評価する方法に関する規範的なガイダンスを提供し、評価と設計の改善の両方に情報を提供します。

要約(オリジナル)

Modern language models, while sophisticated, exhibit some inherent shortcomings, particularly in conversational settings. We claim that many of the observed shortcomings can be attributed to violation of one or more conversational principles. By drawing upon extensive research from both the social science and AI communities, we propose a set of maxims — quantity, quality, relevance, manner, benevolence, and transparency — for describing effective human-AI conversation. We first justify the applicability of the first four maxims (from Grice) in the context of human-AI interactions. We then argue that two new maxims, benevolence (concerning the generation of, and engagement with, harmful content) and transparency (concerning recognition of one’s knowledge boundaries, operational constraints, and intents), are necessary for addressing behavior unique to modern human-AI interactions. The proposed maxims offer prescriptive guidance on how to assess conversational quality between humans and LLM-driven conversational agents, informing both their evaluation and improved design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google