Joint Metrics Matter: A Better Standard for Trajectory Forecasting

要約

マルチモーダル軌道予測手法は一般に、最小平均変位誤差 (ADE) や最終変位誤差 (FDE) などの単一エージェントのメトリクス (限界メトリクス) を使用して評価しますが、相互作用する複数のエージェントの共同パフォーマンスを把握することはできません。
周辺的な指標のみに焦点を当てると、明らかにグループとして一緒に歩いている人々の軌道が衝突したり、軌道が分岐したりするなど、不自然な予測が生じる可能性があります。
その結果、限界指標に最適化された手法は過度に楽観的なパフォーマンスの推定につながり、軌道予測研究の進歩に有害となります。
限界メトリックの限界に対応して、マルチエージェント メトリック (結合メトリック): JADE、JFDE、および衝突率に関する最先端 (SOTA) 軌道予測手法の最初の包括的な評価を示します。
ETH / UCY および Stanford Drone データセットから抽出された定量的証拠と定性的な例を使用して、限界指標ではなく共同指標の重要性を実証します。
SOTA 軌道予測方法に適用すると、以前の SOTA と比較して ETH / UCY データセット上の JADE / JFDE で 7\% の改善を達成する結合メトリクスを組み込んだ新しい損失関数を導入します。
また、私たちの結果は、以前の SOTA と比較して ETH / UCY データセットの平均衝突率が 16\% 減少したことから明らかなように、共同メトリクスの最適化が相互作用モデリングの改善に自然につながることも示しています。
コードは \texttt{\hyperlink{https://github.com/ericaweng/joint-metrics-matter}{github.com/ericaweng/joint-metrics-matter}} で入手できます。

要約(オリジナル)

Multi-modal trajectory forecasting methods commonly evaluate using single-agent metrics (marginal metrics), such as minimum Average Displacement Error (ADE) and Final Displacement Error (FDE), which fail to capture joint performance of multiple interacting agents. Only focusing on marginal metrics can lead to unnatural predictions, such as colliding trajectories or diverging trajectories for people who are clearly walking together as a group. Consequently, methods optimized for marginal metrics lead to overly-optimistic estimations of performance, which is detrimental to progress in trajectory forecasting research. In response to the limitations of marginal metrics, we present the first comprehensive evaluation of state-of-the-art (SOTA) trajectory forecasting methods with respect to multi-agent metrics (joint metrics): JADE, JFDE, and collision rate. We demonstrate the importance of joint metrics as opposed to marginal metrics with quantitative evidence and qualitative examples drawn from the ETH / UCY and Stanford Drone datasets. We introduce a new loss function incorporating joint metrics that, when applied to a SOTA trajectory forecasting method, achieves a 7\% improvement in JADE / JFDE on the ETH / UCY datasets with respect to the previous SOTA. Our results also indicate that optimizing for joint metrics naturally leads to an improvement in interaction modeling, as evidenced by a 16\% decrease in mean collision rate on the ETH / UCY datasets with respect to the previous SOTA. Code is available at \texttt{\hyperlink{https://github.com/ericaweng/joint-metrics-matter}{github.com/ericaweng/joint-metrics-matter}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google