A Comprehensive Survey of Cross-Domain Policy Transfer for Embodied Agents

要約

ロボット学習と身体型 AI の分野の急成長により、大量のデータに対する需要が増大しています。
ただし、コストのかかるデータ収集プロセスと厳しい安全要件により、ターゲット ドメインから十分な偏りのないデータを収集することは依然として課題です。
その結果、研究者は、コスト効率の高いデータ取得と迅速なモデル反復のために、シミュレーションや実験室環境など、簡単にアクセスできるソース ドメインからのデータに頼ることがよくあります。
それにもかかわらず、これらのソース ドメインの環境と実施形態は、ターゲット ドメインの対応するものとは大きく異なる可能性があり、効果的なクロスドメイン ポリシー転送アプローチの必要性が強調されています。
このホワイトペーパーでは、既存のクロスドメインポリシー転送方法の体系的なレビューを行います。
ドメインギャップを微妙に分類することで、各問題設定の包括的な洞察と設計上の考慮事項をカプセル化します。
また、クロスドメインのポリシー転送の問題で使用される主要な方法論に関する概要についても説明します。
最後に、現在のパラダイムの能力を超えた未解決の課題を要約し、この分野の潜在的な将来の方向性について議論します。

要約(オリジナル)

The burgeoning fields of robot learning and embodied AI have triggered an increasing demand for large quantities of data. However, collecting sufficient unbiased data from the target domain remains a challenge due to costly data collection processes and stringent safety requirements. Consequently, researchers often resort to data from easily accessible source domains, such as simulation and laboratory environments, for cost-effective data acquisition and rapid model iteration. Nevertheless, the environments and embodiments of these source domains can be quite different from their target domain counterparts, underscoring the need for effective cross-domain policy transfer approaches. In this paper, we conduct a systematic review of existing cross-domain policy transfer methods. Through a nuanced categorization of domain gaps, we encapsulate the overarching insights and design considerations of each problem setting. We also provide a high-level discussion about the key methodologies used in cross-domain policy transfer problems. Lastly, we summarize the open challenges that lie beyond the capabilities of current paradigms and discuss potential future directions in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google