MoralDial: A Framework to Train and Evaluate Moral Dialogue Systems via Moral Discussions

要約

対話システムにおける道徳は、最近の研究で大きな注目を集めています。
ユーザーの価値観に沿った道徳的な対話システムは、会話への関与とユーザーのつながりを強化する可能性があります。
この論文では、道徳的対話システムを訓練および評価するためのフレームワーク MoralDial を提案します。
私たちの枠組みでは、まず道徳のコミュニケーションメカニズムを調査し、表現された道徳を 3 つの部分に分解します。これは、道徳対話システムを構築するためのロードマップを示します。
これに基づいて、シミュレーションされた特定のユーザーと対話システムの間で道徳的な議論を構築するという、シンプルかつ効果的な方法を設計します。
構築された議論は、対話のやりとりの中で道徳的見解を表現、説明、修正、推論することで構成されており、これにより会話モデルは自然な方法で道徳をよく学ぶことができます。
さらに、この枠組みに基づく新たな評価手法を提案する。
道徳の多面性を特に考慮し、議論における対話応答と人間的価値観との関係を判断することで、道徳の多面性を評価します。
自動および手動の実験は、私たちのフレームワークが道徳的対話システムの訓練と評価に有望であることを示しています。

要約(オリジナル)

Morality in dialogue systems has raised great attention in research recently. A moral dialogue system aligned with users’ values could enhance conversation engagement and user connections. In this paper, we propose a framework, MoralDial to train and evaluate moral dialogue systems. In our framework, we first explore the communication mechanisms of morality and resolve expressed morality into three parts, which indicate the roadmap for building a moral dialogue system. Based on that, we design a simple yet effective method: constructing moral discussions between simulated specific users and the dialogue system. The constructed discussions consist of expressing, explaining, revising, and inferring moral views in dialogue exchanges, which makes conversational models learn morality well in a natural manner. Furthermore, we propose a novel evaluation method under the framework. We evaluate the multiple aspects of morality by judging the relation between dialogue responses and human values in discussions, where the multifaceted nature of morality is particularly considered. Automatic and manual experiments demonstrate that our framework is promising to train and evaluate moral dialogue systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google