Transformer-based models and hardware acceleration analysis in autonomous driving: A survey

要約

タイトル: 自律走行におけるTransformerベースのモデルとハードウェアアクセラレーション分析：サーベイ

要約:
– 近年、Transformerアーキテクチャは様々な自律走行アプリケーションで有望なパフォーマンスを発揮している。
– 一方、可搬性のある計算プラットフォームにおける専用のハードウェアアクセラレーションは、現実的な自律走行車両への実用展開に向けた次の重要なステップとなっている。
– この調査論文では、レーン検出、セグメンテーション、トラッキング、プランニング、意思決定など、自律走行タスクに特化したTransformerベースのモデルの包括的な概要、ベンチマーク、分析を提供する。
– エンコーダ・デコーダ構造やエンコーダのみの構造など、Transformerの入力と出力を構成するための異なるアーキテクチャをレビューし、それぞれの利点と欠点を探る。
– さらに、量子化やランタイムなどの重要な要素を考慮しながら、Transformer関連の演算子とそれらのハードウェアアクセラレーションスキームを詳しく説明する。
– 特に、畳み込みニューラルネットワーク、Swin-Transformer、4Dエンコーダを持つTransformerのレイヤー間の演算子レベルの比較を示す。
– 本論文では、Transformerベースのモデルの課題、トレンド、現在の知見にも焦点を当て、長期的な自律走行アプリケーションの文脈で、ハードウェア展開とアクセラレーションの問題に対処する。

要約(オリジナル)

Transformer architectures have exhibited promising performance in various autonomous driving applications in recent years. On the other hand, its dedicated hardware acceleration on portable computational platforms has become the next critical step for practical deployment in real autonomous vehicles. This survey paper provides a comprehensive overview, benchmark, and analysis of Transformer-based models specifically tailored for autonomous driving tasks such as lane detection, segmentation, tracking, planning, and decision-making. We review different architectures for organizing Transformer inputs and outputs, such as encoder-decoder and encoder-only structures, and explore their respective advantages and disadvantages. Furthermore, we discuss Transformer-related operators and their hardware acceleration schemes in depth, taking into account key factors such as quantization and runtime. We specifically illustrate the operator level comparison between layers from convolutional neural network, Swin-Transformer, and Transformer with 4D encoder. The paper also highlights the challenges, trends, and current insights in Transformer-based models, addressing their hardware deployment and acceleration issues within the context of long-term autonomous driving applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI