Data-Efficient Learning of Natural Language to Linear Temporal Logic Translators for Robot Task Specification

要約

幅広いユーザーがロボットにアクセスできるようにするには、自然言語で与えられるコマンドのような普遍的なコミュニケーション モードを取り、線形時相論理などの形式言語を使用して定義された具体的な目的のタスク仕様を抽出する能力をロボットに与えることが重要です (
LTL)。
このホワイト ペーパーでは、人間がラベル付けした非常に限られたトレーニング データを使用して、自然言語コマンドを LTL 仕様に変換するための学習ベースのアプローチを紹介します。
これは、既存の自然言語から LTL への翻訳者とはまったく対照的です。既存の自然言語から LTL への翻訳者は、翻訳者をトレーニングするために、多くの場合、LTL 式と自然言語コマンドのラベル付きペアの形式で、人間がラベル付けした大規模なデータセットを必要とします。
人間のデータへの依存を減らすために、私たちのアプローチは、LTL 式のアルゴリズム生成、構造化英語への変換、そして最新の大規模言語モデル (LLM) の言い換え機能を活用して自然言語コマンドの多様なコーパスを合成することにより、大規模な合成トレーニング データセットを生成します。
LTL 式に対応します。
この生成されたデータを使用して LLM を微調整し、推論時に制約付きデコード手順を適用して、返された LTL 式が構文的に正しいことを確認します。
3 つの既存の LTL/自然言語データセットでアプローチを評価し、はるかに少ない人間のデータ ($\le$12 アノテーション) で 75\% の精度で自然言語コマンドを翻訳できることを示します。
さらに、人間が注釈を付けた大規模なデータセットでトレーニングする場合、私たちの方法は以前の作業よりも高いテスト精度 (平均で 95\%) を達成します。
最後に、変換された数式を使用して、12D クアッドローターで長期にわたる多段階のタスクを計画できることを示します。

要約(オリジナル)

To make robots accessible to a broad audience, it is critical to endow them with the ability to take universal modes of communication, like commands given in natural language, and extract a concrete desired task specification, defined using a formal language like linear temporal logic (LTL). In this paper, we present a learning-based approach for translating from natural language commands to LTL specifications with very limited human-labeled training data. This is in stark contrast to existing natural-language to LTL translators, which require large human-labeled datasets, often in the form of labeled pairs of LTL formulas and natural language commands, to train the translator. To reduce reliance on human data, our approach generates a large synthetic training dataset through algorithmic generation of LTL formulas, conversion to structured English, and then exploiting the paraphrasing capabilities of modern large language models (LLMs) to synthesize a diverse corpus of natural language commands corresponding to the LTL formulas. We use this generated data to finetune an LLM and apply a constrained decoding procedure at inference time to ensure the returned LTL formula is syntactically correct. We evaluate our approach on three existing LTL/natural language datasets and show that we can translate natural language commands at 75\% accuracy with far less human data ($\le$12 annotations). Moreover, when training on large human-annotated datasets, our method achieves higher test accuracy (95\% on average) than prior work. Finally, we show the translated formulas can be used to plan long-horizon, multi-stage tasks on a 12D quadrotor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google