The Problem of Coherence in Natural Language Explanations of Recommendations

要約

推奨事項に自然言語の説明を提供することは、非専門家ユーザーの観点から特に役立ちます。
このような説明を提供するためのいくつかの方法が最近提案されましたが、説明の質の重要な側面が実験的評価で見落とされていると主張します。
具体的には、生成されたテキストと予測評価の間の一貫性は、説明が有用であるために必要な条件であり、現在使用されている評価測定によって適切に捉えられていません。
この論文では、1）最先端のアプローチのいずれかによって生成された説明の手動検証からの結果を提示する説明と予測の一貫性の問題を強調しています2）自動コヒーレンス評価の方法を提案する3）新しいトランスベースの方法を導入することは、説明のあるアプローチよりも重要なアプローチを実行するよりも、アートのアプローチを実行するよりも、より多くのコヒーレントな説明を生成することを目的としています。
推奨パフォーマンスの他の側面。

要約(オリジナル)

Providing natural language explanations for recommendations is particularly useful from the perspective of a non-expert user. Although several methods for providing such explanations have recently been proposed, we argue that an important aspect of explanation quality has been overlooked in their experimental evaluation. Specifically, the coherence between generated text and predicted rating, which is a necessary condition for an explanation to be useful, is not properly captured by currently used evaluation measures. In this paper, we highlight the issue of explanation and prediction coherence by 1) presenting results from a manual verification of explanations generated by one of the state-of-the-art approaches 2) proposing a method of automatic coherence evaluation 3) introducing a new transformer-based method that aims to produce more coherent explanations than the state-of-the-art approaches 4) performing an experimental evaluation which demonstrates that this method significantly improves the explanation coherence without affecting the other aspects of recommendation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google