Doing the right thing for the right reason: Evaluating artificial moral cognition by probing cost insensitivity

要約

複雑な人工エージェントの道徳的認知を評価することは可能でしょうか?
この研究では、道徳の 1 つの側面、つまり「正しい理由で正しいことを行う」に注目します。
私たちは、類似品の比較を容易にするために人間にも適用できる人工道徳的認知の行動ベースの分析を提案します。
道徳に動機づけられた行動は、コストが増大しても持続する必要があります。
このコストに対するエージェントの感受性を測定することで、根底にある動機についてより深い洞察が得られます。
この評価を、記憶ベースのメタ強化学習によって訓練された深層強化学習エージェントの特定のセットに適用します。
私たちの結果は、他者に関する好みを含む報酬関数で訓練されたエージェントは、より自己関心の高い好みで訓練されたエージェントよりもコストの増加にあまり敏感ではない方法で援助行動を実行することを示しています。

要約(オリジナル)

Is it possible to evaluate the moral cognition of complex artificial agents? In this work, we take a look at one aspect of morality: `doing the right thing for the right reasons.’ We propose a behavior-based analysis of artificial moral cognition which could also be applied to humans to facilitate like-for-like comparison. Morally-motivated behavior should persist despite mounting cost; by measuring an agent’s sensitivity to this cost, we gain deeper insight into underlying motivations. We apply this evaluation to a particular set of deep reinforcement learning agents, trained by memory-based meta-reinforcement learning. Our results indicate that agents trained with a reward function that includes other-regarding preferences perform helping behavior in a way that is less sensitive to increasing cost than agents trained with more self-interested preferences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google