Demonstration Informed Specification Search

要約

タイトル：Demonstration Informed Specification Search
要約：
– この論文は、専門家によるデモンストレーションから時間的タスク仕様を学ぶ問題について検討している。
– タスク仕様は、時間的およびブール合成に明示的なサポートを持つスパースメモリ拡張報酬の一種である。
– 時間的タスク仕様を学習する上で、(1)数え上げ可能な無数のタスク、(2)タスクをエンコードするために必要なメモリの事前の無知、および(3)離散的な解空間という3つの課題がある。
– これらの問題を克服するために、我々はDemonstration Informed Specification Search(DISS)を提案する。DISSは、最大エントロピープランナーとタスクサンプラーへのブラックボックスアクセスのみを必要とするアルゴリズムファミリーである。DISSは、提供されたデモンストレーションをより驚くべきものにしないように標識のついた例を推測し、それに一致するタスクをサンプリングすることで動作する。
– 我々は、決定的有限オートマトンによって説明されるタスクの文脈でDISSの具体的な実装を提供し、DISSがわずか1〜2の専門家のデモンストレーションからも効率的にタスクを識別することができることを示す。

要約(オリジナル)

This paper considers the problem of learning temporal task specifications, e.g. automata and temporal logic, from expert demonstrations. Task specifications are a class of sparse memory augmented rewards with explicit support for temporal and Boolean composition. Three features make learning temporal task specifications difficult: (1) the (countably) infinite number of tasks under consideration; (2) an a-priori ignorance of what memory is needed to encode the task; and (3) the discrete solution space – typically addressed by (brute force) enumeration. To overcome these hurdles, we propose Demonstration Informed Specification Search (DISS): a family of algorithms requiring only black box access to a maximum entropy planner and a task sampler from labeled examples. DISS then works by alternating between conjecturing labeled examples to make the provided demonstrations less surprising and sampling tasks consistent with the conjectured labeled examples. We provide a concrete implementation of DISS in the context of tasks described by Deterministic Finite Automata, and show that DISS is able to efficiently identify tasks from only one or two expert demonstrations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI