Learning Computational Efficient Bots with Costly Features

要約

深層強化学習 (DRL) 技術は、意思決定プロセスのためにさまざまな分野でますます使用されるようになってきています。
ただし、多くの場合に生じる課題は、意思決定プロセスの計算効率と、学習したエージェントが特定のタスクを解決する能力との間のトレードオフです。
これは、エージェントが非常に限られた推論時間で非常に高い頻度で関連する決定を下す必要があるビデオ ゲームなどのリアルタイム設定では特に重要です。
この研究では、入力特徴の計算コストが考慮される一般的なオフライン学習アプローチを提案します。
推論時のコストを制限するコスト制約を組み込んだ Decision Transformer の拡張として、Budgeted Decision Transformer を導出します。
その結果、モデルは各タイムステップで最適な入力特徴を動的に選択できます。
D4RL ベンチマークやビデオ ゲームで見られるものと同様の複雑な 3D 環境など、いくつかのタスクでこの方法の有効性を実証し、従来のアプローチと比較して大幅に少ない計算リソースを使用しながら同様のパフォーマンスを達成できることを示します。

要約(オリジナル)

Deep reinforcement learning (DRL) techniques have become increasingly used in various fields for decision-making processes. However, a challenge that often arises is the trade-off between both the computational efficiency of the decision-making process and the ability of the learned agent to solve a particular task. This is particularly critical in real-time settings such as video games where the agent needs to take relevant decisions at a very high frequency, with a very limited inference time. In this work, we propose a generic offline learning approach where the computation cost of the input features is taken into account. We derive the Budgeted Decision Transformer as an extension of the Decision Transformer that incorporates cost constraints to limit its cost at inference. As a result, the model can dynamically choose the best input features at each timestep. We demonstrate the effectiveness of our method on several tasks, including D4RL benchmarks and complex 3D environments similar to those found in video games, and show that it can achieve similar performance while using significantly fewer computational resources compared to classical approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google