DECIDER: A Rule-Controllable Decoding Strategy for Language Generation by Imitating Dual-System Cognitive Theory

要約

レキシコンベースの制約付きデコード手法は、特定のターゲット概念を通じて、生成されたテキストの意味やスタイルを制御することを目的としています。
既存のアプローチは目標自体に焦点を当てすぎているため、目標を達成する方法についての高度な推論が欠如しています。
しかし、人間は通常、ターゲットだけでなく、ターゲットの発生を誘発する意味的に関連する概念にも焦点を当てる特定のルールに従ってタスクに取り組みます。
この研究では、二重システム認知理論に触発された、制約付き言語生成のためのルール制御可能な復号化戦略である DECIDER を紹介します。
具体的には、DECIDER では、事前トレーニングされた言語モデル (PLM) に、高レベルのルールを入力として受け取る論理推論機能が装備されています。
次に、DECIDER は、各デコード ステップでルール信号が PLM に流れることを許可します。
広範な実験結果は、DECIDER が与えられたルールに従って効果的に、より人間らしい方法でターゲットに向かって生成方向を導くことができることを示しています。

要約(オリジナル)

Lexicon-based constrained decoding approaches aim to control the meaning or style of the generated text through certain target concepts. Existing approaches over-focus the targets themselves, leading to a lack of high-level reasoning about how to achieve them. However, human usually tackles tasks by following certain rules that not only focuses on the targets but also on semantically relevant concepts that induce the occurrence of targets. In this work, we present DECIDER, a rule-controllable decoding strategy for constrained language generation inspired by dual-system cognitive theory. Specifically, in DECIDER, a pre-trained language model (PLM) is equiped with a logic reasoner that takes high-level rules as input. Then, the DECIDER allows rule signals to flow into the PLM at each decoding step. Extensive experimental results demonstrate that DECIDER can effectively follow given rules to guide generation direction toward the targets in a more human-like manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google