DyTTP: Trajectory Prediction with Normalization-Free Transformers

要約

正確な軌道予測は、周囲のエージェントの動的な動作を理解することが重要である自律運転システムの安全な動作の基礎です。
変圧器ベースのアーキテクチャは、複雑な空間的依存性をキャプチャする際に大きな約束を示しています。
ただし、正規化層への依存は、計算オーバーヘッドとトレーニングの不安定性につながる可能性があります。
この作業では、これらの課題に対処するための2つのアプローチを提示します。
まず、トランスを促進する最新の方法であるDynamictanh（DYT）をバックボーンに統合し、従来の層の正規化を置き換えます。
この変更により、ネットワークアーキテクチャが簡素化され、推論の安定性が向上します。
私たちは、DYTを軌道予測タスクに展開する最初の作業です。
これを補完すると、スナップショットアンサンブル戦略を採用して、軌道予測のパフォーマンスをさらに高めます。
循環学習率のスケジューリングを使用して、1回のトレーニング実行中に複数のモデルスナップショットがキャプチャされます。
これらのスナップショットは、推論時間に単純な平均化を介して集約され、実質的な追加の計算コストを発生させることなく、モデルが多様な仮説から利益を得ることができます。
Armoverse Datasetの広範な実験は、私たちの組み合わせたアプローチが、多様な運転シナリオの予測精度、推論速度、堅牢性を大幅に改善することを示しています。
この作業は、自律車の軌跡予測を進める際の軽量アンサンブル技術で増強された正規化のない変圧器設計の可能性を強調しています。

要約(オリジナル)

Accurate trajectory prediction is a cornerstone for the safe operation of autonomous driving systems, where understanding the dynamic behavior of surrounding agents is crucial. Transformer-based architectures have demonstrated significant promise in capturing complex spatio-temporality dependencies. However, their reliance on normalization layers can lead to computation overhead and training instabilities. In this work, we present a two-fold approach to address these challenges. First, we integrate DynamicTanh (DyT), which is the latest method to promote transformers, into the backbone, replacing traditional layer normalization. This modification simplifies the network architecture and improves the stability of the inference. We are the first work to deploy the DyT to the trajectory prediction task. Complementing this, we employ a snapshot ensemble strategy to further boost trajectory prediction performance. Using cyclical learning rate scheduling, multiple model snapshots are captured during a single training run. These snapshots are then aggregated via simple averaging at inference time, allowing the model to benefit from diverse hypotheses without incurring substantial additional computational cost. Extensive experiments on Argoverse datasets demonstrate that our combined approach significantly improves prediction accuracy, inference speed and robustness in diverse driving scenarios. This work underscores the potential of normalization-free transformer designs augmented with lightweight ensemble techniques in advancing trajectory forecasting for autonomous vehicles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google