Scaling Motion Forecasting Models with Ensemble Distillation

要約

動作予測は、自律ロボット システムにとってますます重要なコンポーネントとなっています。
通常、オンボードのコンピューティング バジェットにより、リアルタイム システムの精度が制限されます。
この研究では、モデルアンサンブルと蒸留技術を組み合わせることにより、限られた計算予算の対象となる動き予測システムを改善する方法を提案します。
ディープ ニューラル ネットワークのアンサンブルを使用すると、多くのアプリケーション ドメインで汎化の精度が向上することが示されています。
まず、最適化された単一モデルの大規模なアンサンブルを作成することによって、大幅なパフォーマンスの向上を実証します。
次に、動き予測モデル アンサンブルを、数分の 1 のコンピューティング コストで高いパフォーマンスを維持する小さなスチューデント モデルに抽出するための一般化されたフレームワークを開発します。
この研究では、自動運転システムからの実世界データを使用した動作予測のタスクに焦点を当てます。
私たちは、Waymo Open Motion Dataset (WOMD) および Argoverse リーダーボードで非常に競争力のあるアンサンブル モデルを開発しています。
これらのアンサンブルから、わずかなコンピューティング コストで高いパフォーマンスを発揮する、抽出されたスチューデント モデルをトレーニングします。
これらの実験は、限られたコンピューティング予算でロボット システムの予測モデルの精度を向上させる効果的な方法として、アンサンブルからの蒸留を実証しています。

要約(オリジナル)

Motion forecasting has become an increasingly critical component of autonomous robotic systems. Onboard compute budgets typically limit the accuracy of real-time systems. In this work we propose methods of improving motion forecasting systems subject to limited compute budgets by combining model ensemble and distillation techniques. The use of ensembles of deep neural networks has been shown to improve generalization accuracy in many application domains. We first demonstrate significant performance gains by creating a large ensemble of optimized single models. We then develop a generalized framework to distill motion forecasting model ensembles into small student models which retain high performance with a fraction of the computing cost. For this study we focus on the task of motion forecasting using real world data from autonomous driving systems. We develop ensemble models that are very competitive on the Waymo Open Motion Dataset (WOMD) and Argoverse leaderboards. From these ensembles, we train distilled student models which have high performance at a fraction of the compute costs. These experiments demonstrate distillation from ensembles as an effective method for improving accuracy of predictive models for robotic systems with limited compute budgets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google