Can Language Beat Numerical Regression? Language-Based Multimodal Trajectory Prediction

要約

言語モデルは、文脈理解と生成パフォーマンスにおいて優れた能力を実証しています。
言語基礎モデルの最近の成功に触発されて、この論文では、軌道予測タスクを一種の質問応答問題に再キャストする LMTraj (言語ベースのマルチモーダル軌道予測器) を提案します。
軌跡座標シーケンスを連続信号として扱う従来の数値回帰モデルとは異なり、テキスト プロンプトのような離散信号として考慮します。
具体的には、まず軌跡座標の入力空間を自然言語空間に変換します。
ここでは、歩行者の時系列軌跡全体をテキストプロンプトに変換し、情景画像を画像キャプションによりテキスト情報として記述します。
変換された数値データと画像データは、言語モデルで使用するために質問応答テンプレートにラップされます。
次に、シーンのコンテキストや歩行者間の社会的関係など、高度な知識を理解して推論する言語モデルを導くために、補助的なマルチタスクの質問と回答を導入します。
次に、プロンプト データを使用して数値トークナイザーをトレーニングします。
トークナイザーが整数部分と小数部分を適切に分離し、それを利用して言語モデル内の連続する数値間の相関関係を取得することをお勧めします。
最後に、数値トークナイザーとすべての質問と回答のプロンプトを使用して言語モデルをトレーニングします。
ここでは、決定論的推論と確率論的推論の両方を実装するために、ビーム探索ベースの最尤予測と温度ベースのマルチモーダル予測を提案します。
LMTraj を適用すると、言語ベースのモデルが強力な歩行者軌跡予測手段となり、既存の数値ベースの予測手法を上回る性能を示すことがわかります。
コードは https://github.com/inhwanbae/LMTrajectory で公開されています。

要約(オリジナル)

Language models have demonstrated impressive ability in context understanding and generative performance. Inspired by the recent success of language foundation models, in this paper, we propose LMTraj (Language-based Multimodal Trajectory predictor), which recasts the trajectory prediction task into a sort of question-answering problem. Departing from traditional numerical regression models, which treat the trajectory coordinate sequence as continuous signals, we consider them as discrete signals like text prompts. Specially, we first transform an input space for the trajectory coordinate into the natural language space. Here, the entire time-series trajectories of pedestrians are converted into a text prompt, and scene images are described as text information through image captioning. The transformed numerical and image data are then wrapped into the question-answering template for use in a language model. Next, to guide the language model in understanding and reasoning high-level knowledge, such as scene context and social relationships between pedestrians, we introduce an auxiliary multi-task question and answering. We then train a numerical tokenizer with the prompt data. We encourage the tokenizer to separate the integer and decimal parts well, and leverage it to capture correlations between the consecutive numbers in the language model. Lastly, we train the language model using the numerical tokenizer and all of the question-answer prompts. Here, we propose a beam-search-based most-likely prediction and a temperature-based multimodal prediction to implement both deterministic and stochastic inferences. Applying our LMTraj, we show that the language-based model can be a powerful pedestrian trajectory predictor, and outperforms existing numerical-based predictor methods. Code is publicly available at https://github.com/inhwanbae/LMTrajectory .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google