CoT-TL: Low-Resource Temporal Knowledge Representation of Planning Instructions Using Chain-of-Thought Reasoning

要約

自律型エージェントは、タスクを計画するために不確実な自然言語の指示を解釈するという課題に直面することがよくあります。
これらの指示を線形時相論理 (LTL) として表すことで、プランナーは実行可能な計画を合成できます。
自然言語仕様を LTL 表現に変換するための、データ効率の高いコンテキスト内学習フレームワークである CoT-TL を紹介します。
CoT-TL は、形式的なロジック作成の要件に合わせて思考連鎖推論とセマンティックな役割を拡張することで、通常は広範な微調整データに依存する大規模な言語モデルの制限に対処します。
このアプローチにより、LTL 生成の背後にある透明性と理論的根拠が強化され、ユーザーの信頼が促進されます。
CoT-TL は、低データのシナリオで 3 つの多様なデータセットにわたって最先端の精度を実現し、微調整や中間変換を行わずに既存の手法を上回るパフォーマンスを発揮します。
信頼性を向上させ、幻覚を最小限に抑えるために、生成された LTL 出力の構文を検証するモデル チェックを組み込みます。
私たちはさらに、アブレーション研究と、新しいデータセット内の目に見えないLTL構造と式の評価を通じて、CoT-TLの有効性を実証します。
最後に、自然言語命令に基づいた複数ステップのドローン計画のために CoT-TL を QuadCopter に統合することで、CoT-TL の実用性を検証します。

要約(オリジナル)

Autonomous agents often face the challenge of interpreting uncertain natural language instructions for planning tasks. Representing these instructions as Linear Temporal Logic (LTL) enables planners to synthesize actionable plans. We introduce CoT-TL, a data-efficient in-context learning framework for translating natural language specifications into LTL representations. CoT-TL addresses the limitations of large language models, which typically rely on extensive fine-tuning data, by extending chain-of-thought reasoning and semantic roles to align with the requirements of formal logic creation. This approach enhances the transparency and rationale behind LTL generation, fostering user trust. CoT-TL achieves state-of-the-art accuracy across three diverse datasets in low-data scenarios, outperforming existing methods without fine-tuning or intermediate translations. To improve reliability and minimize hallucinations, we incorporate model checking to validate the syntax of the generated LTL output. We further demonstrate CoT-TL’s effectiveness through ablation studies and evaluations on unseen LTL structures and formulas in a new dataset. Finally, we validate CoT-TL’s practicality by integrating it into a QuadCopter for multi-step drone planning based on natural language instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google