Enhancing Robot Program Synthesis Through Environmental Context

要約

プログラム合成は、指定された仕様に準拠した実行可能プログラムを自動的に生成することを目的としています。
最近の進歩により、ディープ ニューラル手法と大規模な事前トレーニング済み言語モデルがプログラム セマンティクスの捕捉に非常に優れていることが実証されました。
ロボットプログラミングの場合、これまでの研究ではグローバル環境を組み込むことでプログラム合成が容易でした。
ただし、環境全体を包括的に理解するという前提は、達成するのが非常に困難であることがよくあります。
この研究では、部分的に観察された環境を利用して、潜在的にエラーのあるコード セグメントを修正することでプログラムの合成を学習するフレームワークを紹介します。
部分的な観察に対する注意が不十分であるという問題に取り組むために、前提条件に基づいて各プログラム トークンの影響を暗黙的に評価できる環境埋め込み空間を最初に学習することを提案します。
さらに、グラフ構造を採用することにより、このモデルは環境情報フローと構文情報フローの両方を集約し、スムーズなプログラム修正のガイダンスを提供できます。
部分的に観察された VizDoom ドメインに関する広範な実験評価とアブレーション研究により、私たちの手法がさまざまなタスクにわたって優れた汎化能力と、ノイズに遭遇した場合の優れた堅牢性を提供することが証明されています。

要約(オリジナル)

Program synthesis aims to automatically generate an executable program that conforms to the given specification. Recent advancements have demonstrated that deep neural methodologies and large-scale pretrained language models are highly proficient in capturing program semantics. For robot programming, prior works have facilitated program synthesis by incorporating global environments. However, the assumption of acquiring a comprehensive understanding of the entire environment is often excessively challenging to achieve. In this work, we present a framework that learns to synthesize a program by rectifying potentially erroneous code segments, with the aid of partially observed environments. To tackle the issue of inadequate attention to partial observations, we propose to first learn an environment embedding space that can implicitly evaluate the impacts of each program token based on the precondition. Furthermore, by employing a graph structure, the model can aggregate both environmental and syntactic information flow and furnish smooth program rectification guidance. Extensive experimental evaluations and ablation studies on the partially observed VizDoom domain authenticate that our method offers superior generalization capability across various tasks and greater robustness when encountering noises.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google