A Decision-Making GPT Model Augmented with Entropy Regularization for Autonomous Vehicles

要約

自律走行車 (AV) の分野では、意思決定は自律ナビゲーションの有効性に大きく影響する重要な要素です。
この分野の進歩に伴い、複雑な環境における意思決定能力の強化が、データ駆動型方法論における研究の中心分野となっています。
顕著な進歩にもかかわらず、自動運転車における既存の学習ベースの意思決定戦略は、特にポリシーの明確化と安全性の確保において、さらなる改良の機会を明らかにし続けています。
この研究では、自動運転車に関連する意思決定の課題が、制約付きマルコフ決定プロセス (CMDP) のフレームワークを通じて概念化され、シーケンス モデリング問題としてアプローチされます。
Generative Pre-trained Transformer (GPT) を利用して、AV 向けに調整された新しい意思決定モデルを導入します。これには、探索を強化し、安全性能を強化するエントロピー正則化技術が組み込まれています。
さまざまなシナリオにわたって実施された包括的な実験により、特に安全性と全体的な有効性の点で、当社のアプローチがいくつかの確立されたベースライン方法を上回っていることが確認されています。

要約(オリジナル)

In the domain of autonomous vehicles (AVs), decision-making is a critical factor that significantly influences the efficacy of autonomous navigation. As the field progresses, the enhancement of decision-making capabilities in complex environments has become a central area of research within data-driven methodologies. Despite notable advances, existing learning-based decision-making strategies in autonomous vehicles continue to reveal opportunities for further refinement, particularly in the articulation of policies and the assurance of safety. In this study, the decision-making challenges associated with autonomous vehicles are conceptualized through the framework of the Constrained Markov Decision Process (CMDP) and approached as a sequence modeling problem. Utilizing the Generative Pre-trained Transformer (GPT), we introduce a novel decision-making model tailored for AVs, which incorporates entropy regularization techniques to bolster exploration and enhance safety performance. Comprehensive experiments conducted across various scenarios affirm that our approach surpasses several established baseline methods, particularly in terms of safety and overall efficacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google