Distilling Script Knowledge from Large Language Models for Constrained Language Planning

要約

【タイトル】大規模言語モデルからスクリプト知識を蒸留し、制約言語プランニングを行う

【要約】
– 人間は日常生活で、目的志向のスクリプトとしてのステップバイステップの指示に従って行動を計画することがある。
– 以前の研究では、言語モデル（LMs）を使用して抽象的な目標の計画を立てることができたが、より複雑な制約がある目標については研究が不十分であった。
– 本研究では初めて、制約言語プランニングのタスクを定義した。
– LLMを改善するために、オーバージェネレートしてフィルタリングするアプローチを提唱している。
– 55,000のスクリプトから構成される新しい制約言語プランニングデータセットCoScriptを蒸留することに成功した。
– 実験結果は、我々の方法が、特に制約忠実度において、LLMsの制約言語プランニング能力を大幅に改善することを示している。
– さらに、CoScriptは、より小さなLMに対しての制約言語プランニング能力を付与するのに非常に効果的であると示されている。

要約(オリジナル)

In everyday life, humans often plan their actions by following step-by-step instructions in the form of goal-oriented scripts. Previous work has exploited language models (LMs) to plan for abstract goals of stereotypical activities (e.g., ‘make a cake’), but leaves more specific goals with multi-facet constraints understudied (e.g., ‘make a cake for diabetics’). In this paper, we define the task of constrained language planning for the first time. We propose an overgenerate-then-filter approach to improve large language models (LLMs) on this task, and use it to distill a novel constrained language planning dataset, CoScript, which consists of 55,000 scripts. Empirical results demonstrate that our method significantly improves the constrained language planning ability of LLMs, especially on constraint faithfulness. Furthermore, CoScript is demonstrated to be quite effective in endowing smaller LMs with constrained language planning ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI