Neural Conversation Models and How to Rein Them in: A Survey of Failures and Fixes

要約

最近の条件付き言語モデルは、多くの場合、一見流暢に見える方法で、あらゆる種類のテキスト ソースを続行できます。
この事実は、強力な言語モデルに基づいており、書かれた対話に適切な貢献を生成することによって対話者を模倣することを目的とした、オープンドメインの会話システムの分野での研究を奨励しました。
ただし、言語的な観点から見ると、会話に貢献することは非常に複雑です。
この調査では、この特定の研究分野の観点からグライスの協力的会話に関する格言を解釈し、貢献を適切なものとする観点に基づいて文献を体系化します。ニューラル会話モデルは、流暢で、有益で、一貫性があり、一貫性があり、従う必要があります。
社会規範。
これらの品質を確保するために、最近のアプローチでは、データ、トレーニング体制、デコードなどのさまざまな介入ポイントで、基礎となる言語モデルを手なずけようとしています。
これらのカテゴリと介入ポイントによって分類され、有望な試みについて議論し、将来の研究のための新しい方法を提案します。

要約(オリジナル)

Recent conditional language models are able to continue any kind of text source in an often seemingly fluent way. This fact encouraged research in the area of open-domain conversational systems that are based on powerful language models and aim to imitate an interlocutor by generating appropriate contributions to a written dialogue. From a linguistic perspective, however, the complexity of contributing to a conversation is high. In this survey, we interpret Grice’s maxims of cooperative conversation from the perspective of this specific research area and systematize the literature under the aspect of what makes a contribution appropriate: A neural conversation model has to be fluent, informative, consistent, coherent, and follow social norms. In order to ensure these qualities, recent approaches try to tame the underlying language models at various intervention points, such as data, training regime or decoding. Sorted by these categories and intervention points, we discuss promising attempts and suggest novel ways for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google