ClarifyDelphi: Reinforced Clarification Questions with Defeasibility Rewards for Social and Moral Situations

要約

常識的な道徳的推論においても、文脈がすべてです。
状況を変えると、行動の道徳的判断が覆される可能性があります。
「友人に嘘をつく」ことは一般的に間違っていますが、友人の命を守るためであれば道徳的に許容される可能性があります。
我々は、社会的または道徳的状況のさらなる顕著な文脈を引き出すために、説明のための質問（たとえば、なぜ友達に嘘をついたのですか？）を尋ねることを学習する対話型システムであるClarifyDelphiを紹介します。
私たちは、潜在的な答えが道徳的判断の相違につながる質問が最も有益であると仮定します。
したがって、質問に対する仮説的な回答の道徳的判断間の差異を最大化することを目的とした、実行不可能性報酬を備えた強化学習フレームワークを提案します。
人間による評価により、当社のシステムは、競合ベースラインと比較して、より関連性があり、有益で、実行可能な質問を生成することが実証されています。
私たちの研究は最終的には、道徳的認知の柔軟性（つまり、道徳的規則が曲げられる可能性がある多様な状況）を調査した認知科学の研究に触発されており、この方向の研究が道徳の認知的研究と計算的研究の両方に役立つことを願っています。
判断。

要約(オリジナル)

Context is everything, even in commonsense moral reasoning. Changing contexts can flip the moral judgment of an action; ‘Lying to a friend’ is wrong in general, but may be morally acceptable if it is intended to protect their life. We present ClarifyDelphi, an interactive system that learns to ask clarification questions (e.g., why did you lie to your friend?) in order to elicit additional salient contexts of a social or moral situation. We posit that questions whose potential answers lead to diverging moral judgments are the most informative. Thus, we propose a reinforcement learning framework with a defeasibility reward that aims to maximize the divergence between moral judgments of hypothetical answers to a question. Human evaluation demonstrates that our system generates more relevant, informative and defeasible questions compared to competitive baselines. Our work is ultimately inspired by studies in cognitive science that have investigated the flexibility in moral cognition (i.e., the diverse contexts in which moral rules can be bent), and we hope that research in this direction can assist both cognitive and computational investigations of moral judgments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google