Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning

要約

強化学習は、具体化された学習シナリオでさまざまなロボット データセットに対して一般化された低レベルのロボット ポリシーを取得することができ、Transformer は時間変化する特徴をモデル化するために広く使用されています。
ただし、依然としてデータ効率が低く、推論遅延が長いという問題があります。
この論文では、周波数領域の新しい観点からこのタスクを調査することを提案します。
まず、ロボットの軌道の周波数領域のエネルギー密度が主に低周波数部分に集中していることが観察されます。
次に、短時間フーリエ変換 (STFT) を利用して、周波数領域補間を通じて時変特徴を抽出およびエンコードする新しいネットワークであるフーリエ コントローラー ネットワーク (FCNet) を紹介します。
さらに、モデル アーキテクチャで FFT およびスライディング DFT 手法を使用してリアルタイムの意思決定を行うことで、並列トレーニングと効率的な再帰推論を実現します。
シミュレーション環境 (例: D4RL) と現実世界の環境 (例: ロボットの移動) の両方での包括的な分析により、Transformer などの既存の手法を上回る FCNet の実質的な効率と有効性が実証されます。たとえば、FCNet は、あらゆる種類のサイズの複数環境のロボット データセットで Transformer を上回ります。
(1.9Mから120Mまで)。
プロジェクト ページとコードは https://thkkk.github.io/fcnet にあります。

要約(オリジナル)

Reinforcement learning is able to obtain generalized low-level robot policies on diverse robotics datasets in embodied learning scenarios, and Transformer has been widely used to model time-varying features. However, it still suffers from the issues of low data efficiency and high inference latency. In this paper, we propose to investigate the task from a new perspective of the frequency domain. We first observe that the energy density in the frequency domain of a robot’s trajectory is mainly concentrated in the low-frequency part. Then, we present the Fourier Controller Network (FCNet), a new network that utilizes the Short-Time Fourier Transform (STFT) to extract and encode time-varying features through frequency domain interpolation. We further achieve parallel training and efficient recurrent inference by using FFT and Sliding DFT methods in the model architecture for real-time decision-making. Comprehensive analyses in both simulated (e.g., D4RL) and real-world environments (e.g., robot locomotion) demonstrate FCNet’s substantial efficiency and effectiveness over existing methods such as Transformer, e.g., FCNet outperforms Transformer on multi-environmental robotics datasets of all types of sizes (from 1.9M to 120M). The project page and code can be found https://thkkk.github.io/fcnet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google