Another Vertical View: A Hierarchical Network for Heterogeneous Trajectory Prediction via Spectrums

要約

タイトル：スペクトルを利用した異種トラジェクトリ予測のための階層型ネットワークの別の視点

要約：

・AI関連技術の急速な発展に伴い、トラジェクトリ予測のアプリケーションは、容易なシーンとトラジェクトリに限定されなくなっています。
・より多くの異なる表現形式を持つ異種トラジェクトリ、2Dまたは3D座標、2Dまたは3Dバウンディングボックス、高次元の人間のスケルトンなどが分析および予測される必要があります。
・これらの異種トラジェクトリの中で、トラジェクトリのフレーム内の異なる要素の間の相互作用（次元ごとの相互作用）はより複雑であり、課題となります。
・しかし、以前のアプローチの多くは特定のトラジェクトリ形式に焦点を当てているため、これらの方法を用いて異種トラジェクトリを予測することはできません。
・さらに、以前の方法では、トラジェクトリ予測を通常の時間系列生成タスクとして扱っていましたが、これは、エージェントの行動と社会的相互作用を異なる時間スケールで直接分析するためのより多くの作業が必要であることを示しています。
・本論文では、スペクトル領域から異なる周波数部分に応じてトラジェクトリを階層的にモデル化および予測するための新しい「ビュー」を提供し、周波数応答を考慮してトラジェクトリを予測するように学習します。
・さらに、「別の視点」から次元 $M$を導入することで、異種トラジェクトリの応用シナリオを垂直方向に拡張します。
・最後に、周波数応答と次元ごとの相互作用を結合するために二重線形構造を採用し、異種トラジェクトリをスペクトル階層的に予測する汎用的な方法を提供します。
・実験により、本提案手法が、2D座標、2Dおよび3Dバウンディングボックスを含む異種トラジェクトリにおいて、ETH-UCY、Stanford Drone Dataset、nuScenesのほとんどの最先端の手法よりも優れていることが示されました。

要約(オリジナル)

With the fast development of AI-related techniques, the applications of trajectory prediction are no longer limited to easier scenes and trajectories. More and more heterogeneous trajectories with different representation forms, such as 2D or 3D coordinates, 2D or 3D bounding boxes, and even high-dimensional human skeletons, need to be analyzed and forecasted. Among these heterogeneous trajectories, interactions between different elements within a frame of trajectory, which we call the “Dimension-Wise Interactions”, would be more complex and challenging. However, most previous approaches focus mainly on a specific form of trajectories, which means these methods could not be used to forecast heterogeneous trajectories, not to mention the dimension-wise interaction. Besides, previous methods mostly treat trajectory prediction as a normal time sequence generation task, indicating that these methods may require more work to directly analyze agents’ behaviors and social interactions at different temporal scales. In this paper, we bring a new “view” for trajectory prediction to model and forecast trajectories hierarchically according to different frequency portions from the spectral domain to learn to forecast trajectories by considering their frequency responses. Moreover, we try to expand the current trajectory prediction task by introducing the dimension $M$ from “another view”, thus extending its application scenarios to heterogeneous trajectories vertically. Finally, we adopt the bilinear structure to fuse two factors, including the frequency response and the dimension-wise interaction, to forecast heterogeneous trajectories via spectrums hierarchically in a generic way. Experiments show that the proposed model outperforms most state-of-the-art methods on ETH-UCY, Stanford Drone Dataset and nuScenes with heterogeneous trajectories, including 2D coordinates, 2D and 3D bounding boxes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI