Learning to Predict Concept Ordering for Common Sense Generation

要約

これまでの研究では、概念を常識生成ツールに示す順序が重要な役割を果たし、生成される文の品質に影響を与えることが示されています。
ただし、すべての概念をカバーする自然な文を事前訓練されたジェネレーターから生成できるように、特定の概念セットの最適な順序を決定することは依然として課題です。
入力概念の順序付けと生成される文の品質との関係を理解するために、複数の言語モデル (LM) と概念順序付け戦略を考慮した体系的な研究を実施します。
BART 大規模モデルは、複数の評価メトリクスを使用して測定された CommonGen トレーニング データに現れる概念の順序を使用して微調整すると、この研究で検討した他のすべての LM よりも一貫して優れていることがわかります。
さらに、より大きな GPT3 ベースの大規模言語モデル (LLM) バリアントは、タスク固有のトレーニング データに基づいて微調整した場合でも、このタスクでは必ずしも小さな LM よりも優れたパフォーマンスを発揮するとは限りません。
興味深いことに、ヒューマン・アノテーターは、それらの概念をカバーする文章を手動で書くときに、入力概念セットを大幅に並べ替えます。この順序付けは、生成に使用される LM とは無関係に最適な文章生成を提供し、確率的な概念順序付けベースラインを上回るパフォーマンスを示します。

要約(オリジナル)

Prior work has shown that the ordering in which concepts are shown to a commonsense generator plays an important role, affecting the quality of the generated sentence. However, it remains a challenge to determine the optimal ordering of a given set of concepts such that a natural sentence covering all the concepts could be generated from a pretrained generator. To understand the relationship between the ordering of the input concepts and the quality of the generated sentences, we conduct a systematic study considering multiple language models (LMs) and concept ordering strategies. We find that BART-large model consistently outperforms all other LMs considered in this study when fine-tuned using the ordering of concepts as they appear in CommonGen training data as measured using multiple evaluation metrics. Moreover, the larger GPT3-based large language models (LLMs) variants do not necessarily outperform much smaller LMs on this task, even when fine-tuned on task-specific training data. Interestingly, human annotators significantly reorder input concept sets when manually writing sentences covering those concepts, and this ordering provides the best sentence generations independently of the LM used for the generation, outperforming a probabilistic concept ordering baseline

arxiv情報

提供元, 利用サービス

arxiv.jp, Google