PlaSma: Making Small Language Models Better Procedural Knowledge Models for (Counterfactual) Planning

要約

手順の計画は、高レベルの目標を時間的に順序付けられた一連のステップに分解することを必要とし、機械にとって重要ではあるものの複雑なタスクです。
これには、常識的な知識を統合して、複雑でしばしば状況に応じた状況を推論することが含まれます。
「電話を使わずに診察の予約をする」。
現在のアプローチは、大規模言語モデル (LLM) を使用した有望な結果を示していますが、コストのかかる API 呼び出しや再現性の問題などの欠点によって妨げられています。
このペーパーでは、より小さな言語モデルを使用して計画を立てることを提唱します。
我々は、小さな言語モデルに手続き的知識と（制約された）言語計画機能を与えるための新しい二面アプローチである PlaSma を紹介します。
より具体的には、小さな言語モデルの常識知識を強化するための記号手続き型知識の蒸留と、より構造化された正確な推論を促進するための推論時間アルゴリズムを開発します。
さらに、制約された状況に対処するために計画を修正する必要がある、新しい関連タスクである再計画を導入します。
計画設定と再計画設定の両方で、桁違いに小さいモデル (770M-11B パラメーター) が競合する可能性があり、多くの場合、より大きな教師モデルの能力を上回ることがわかります。
最後に、具体化された環境である VirtualHome での PlaSma のアプリケーションの成功例を紹介します。

要約(オリジナル)

Procedural planning, which entails decomposing a high-level goal into a sequence of temporally ordered steps, is an important yet intricate task for machines. It involves integrating common-sense knowledge to reason about complex and often contextualized situations, e.g. “scheduling a doctor’s appointment without a phone”. While current approaches show encouraging results using large language models (LLMs), they are hindered by drawbacks such as costly API calls and reproducibility issues. In this paper, we advocate planning using smaller language models. We present PlaSma, a novel two-pronged approach to endow small language models with procedural knowledge and (constrained) language planning capabilities. More concretely, we develop symbolic procedural knowledge distillation to enhance the commonsense knowledge in small language models and an inference-time algorithm to facilitate more structured and accurate reasoning. In addition, we introduce a new related task, Replanning, that requires a revision of a plan to cope with a constrained situation. In both the planning and replanning settings, we show that orders-of-magnitude smaller models (770M-11B parameters) can compete and often surpass their larger teacher models’ capabilities. Finally, we showcase successful application of PlaSma in an embodied environment, VirtualHome.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google