ABPT: Amended Backpropagation through Time with Partially Differentiable Rewards

要約

報酬の正確な勾配を使用して、BackPropagation-Through-Through（BPTT）を介してポリシーパラメーターを直接最適化することにより、四肢装置タスクの高いトレーニングパフォーマンスを可能にします。
ただし、完全に微分可能な報酬アーキテクチャを設計することは、しばしば困難です。
部分的に微分可能な報酬は、トレーニングのパフォーマンスを低下させる偏った勾配伝播をもたらします。
この制限を克服するために、BPTTのトレーニング効率を維持しながら勾配バイアスを軽減する新しいアプローチである、修正されたバックプロパゲーションスルータイム（ABPT）を提案します。
ABPTは0ステップとNステップのリターンを組み合わせて、学習したQ値関数から値勾配を活用することにより、バイアスを効果的に削減します。
さらに、トレーニング中の探査を促進するために、エントロピーの正規化と状態初期化メカニズムを採用しています。
4つの代表的な象限飛行タスクでABPTを評価します。
実験結果は、ABPTが既存の学習アルゴリズムよりも大幅に速く収束し、既存の学習アルゴリズムよりも高い究極の報酬を達成することを示しています。

要約(オリジナル)

Using the exact gradients of the rewards to directly optimize policy parameters via backpropagation-through-time (BPTT) enables high training performance for quadrotor tasks. However, designing a fully differentiable reward architecture is often challenging. Partially differentiable rewards will result in biased gradient propagation that degrades training performance. To overcome this limitation, we propose Amended Backpropagation-through-Time (ABPT), a novel approach that mitigates gradient bias while preserving the training efficiency of BPTT. ABPT combines 0-step and N-step returns, effectively reducing the bias by leveraging value gradients from the learned Q-value function. Additionally, it adopts entropy regularization and state initialization mechanisms to encourage exploration during training. We evaluate ABPT on four representative quadrotor flight tasks. Experimental results demonstrate that ABPT converges significantly faster and achieves higher ultimate rewards than existing learning algorithms, particularly in tasks involving partially differentiable rewards.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google