Dynamic Epistemic Friction in Dialogue

要約

大規模な言語モデル（LLM）を人間の好みに合わせて最近の開発により、人間と協調的なシナリオでの有用性が大幅に向上しました。
しかし、そのようなアプローチは、しばしば「認識論的摩擦」、または新しい、矛盾する、または曖昧な情報に応じて信念を更新する際に遭遇する固有の抵抗の重要な役割を無視します。
この論文では、エージェントの現在の信念状態と外部の証拠によって裏付けられた新しい命題との間の不整合を特徴とする認識論的統合に対する抵抗として、動的認識摩擦を定義します。
これは、動的認識論理の枠組み（Van Benthem and Pacuit、2011）の枠組みの中で位置付けられます。ここでは、摩擦は相互作用中に非自明の信念反応として現れます。
次に、この認識論的摩擦のモデルが対話における信念の更新を効果的に予測する方法を示す状況的な共同作業からの分析を提示し、その後、認識論的抵抗または摩擦の尺度としての信念のアライメントのモデルを、実際の対話シナリオの複雑さに対応するために自然により洗練される方法について説明します。

要約(オリジナル)

Recent developments in aligning Large Language Models (LLMs) with human preferences have significantly enhanced their utility in human-AI collaborative scenarios. However, such approaches often neglect the critical role of ‘epistemic friction,’ or the inherent resistance encountered when updating beliefs in response to new, conflicting, or ambiguous information. In this paper, we define dynamic epistemic friction as the resistance to epistemic integration, characterized by the misalignment between an agent’s current belief state and new propositions supported by external evidence. We position this within the framework of Dynamic Epistemic Logic (Van Benthem and Pacuit, 2011), where friction emerges as nontrivial belief-revision during the interaction. We then present analyses from a situated collaborative task that demonstrate how this model of epistemic friction can effectively predict belief updates in dialogues, and we subsequently discuss how the model of belief alignment as a measure of epistemic resistance or friction can naturally be made more sophisticated to accommodate the complexities of real-world dialogue scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google