Mitigating Unhelpfulness in Emotional Support Conversations with Multifaceted AI Feedback

要約

感情サポート会話システムは、ユーザーの精神的苦痛を軽減し、課題への対処を支援することを目的としています。
支持的な反応を生み出すには、従来の方法で確立されていたように、共感、サポート戦略、反応の一貫性などの複数の要素を考慮することが重要です。
それにもかかわらず、以前のモデルは時折、サポートを提供するつもりが逆効果を示す、役に立たない応答を生成します。
心理学とコミュニケーション理論によれば、たった 1 つの要因でパフォーマンスが低下すると、役に立たない反応が生じる可能性があります。
モデルトレーニングの観点から見ると、これらのモデルはトレーニング段階で役に立たない応答にさらされていないため、生成したトークンが推論中に役に立たない応答を引き起こす可能性があるかどうかを区別できません。
この問題に対処するために、感情的サポートのための多面的な AI フィードバックによる無力感の軽減 (Muffin) という名前の新しいモデルに依存しないフレームワークを導入します。
具体的には、Muffin は多面的な AI フィードバック モジュールを採用し、複数の要素を考慮して特定のモデルによって生成された応答の有用性を評価します。
対照学習を使用すると、モデルが有益な応答と比較して役に立たない応答を生成する可能性が低くなります。
実験結果は、Muffin が役に立たない応答の生成を効果的に軽減し、応答の流暢性と関連性をわずかに向上させることを示しています。

要約(オリジナル)

An emotional support conversation system aims to alleviate users’ emotional distress and assist them in addressing their challenges. To generate supportive responses, it is critical to consider multiple factors such as empathy, support strategies, and response coherence, as established in prior methods. Nonetheless, previous models occasionally generate unhelpful responses, which intend to provide support but display counterproductive effects. According to psychology and communication theories, poor performance in just one contributing factor might cause a response to be unhelpful. From the model training perspective, since these models have not been exposed to unhelpful responses during their training phase, they are unable to distinguish if the tokens they generate might result in unhelpful responses during inference. To address this issue, we introduce a novel model-agnostic framework named mitigating unhelpfulness with multifaceted AI feedback for emotional support (Muffin). Specifically, Muffin employs a multifaceted AI feedback module to assess the helpfulness of responses generated by a specific model with consideration of multiple factors. Using contrastive learning, it then reduces the likelihood of the model generating unhelpful responses compared to the helpful ones. Experimental results demonstrate that Muffin effectively mitigates the generation of unhelpful responses while slightly increasing response fluency and relevance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google