Distilling Script Knowledge from Large Language Models for Constrained Language Planning

要約

タイトル：大規模言語モデルからのスクリプト知識の抽出による拘束言語計画

要約：
– 人々は日常生活で、目的指向のステップバイステップの命令形式に従って行動を計画することがよくある。
– 過去の研究では、大まかな目標（例：「ケーキを作る」）のために言語モデル（LMs）を活用してきたが、より具体的なマルチファセットの制約を持つ目標（例：「糖尿病患者のためにケーキを作る」）については研究されていなかった。
– 本論文では、初めて「拘束言語計画」のタスクを定義している。
– 「過生産-フィルタリングアプローチ」を提案し、これを使用して55,000のスクリプトから成る「CoScript」という新しい拘束言語計画データセットを作成した。
– 実験結果は、私たちの方法がLLMsの拘束言語計画能力を著しく向上させ、特に制約の忠実度に対して改善されたことを示している。
– さらに、CoScriptは、小さなLMsに拘束言語計画能力を与えるための効果的な手段であることが示されている。

要約(オリジナル)

In everyday life, humans often plan their actions by following step-by-step instructions in the form of goal-oriented scripts. Previous work has exploited language models (LMs) to plan for abstract goals of stereotypical activities (e.g., ‘make a cake’), but leaves more specific goals with multi-facet constraints understudied (e.g., ‘make a cake for diabetics’). In this paper, we define the task of constrained language planning for the first time. We propose an overgenerate-then-filter approach to improve large language models (LLMs) on this task, and use it to distill a novel constrained language planning dataset, CoScript, which consists of 55,000 scripts. Empirical results demonstrate that our method significantly improves the constrained language planning ability of LLMs, especially on constraint faithfulness. Furthermore, CoScript is demonstrated to be quite effective in endowing smaller LMs with constrained language planning ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI