Discovering Intrinsic Spatial-Temporal Logic Rules to Explain Human Actions

要約

私たちは、人間の動きの軌跡を分析することにより、人間の動きに対するロジックに基づいた知識駆動型のモデリング フレームワークを提案します。
私たちのアプローチは、人間の行動は通常、意図や欲望によって動かされ、周囲の物体との空間的関係などの環境要因の影響を受けるという事実に触発されています。
本稿では、人間の行動を説明するための知識として、時空間論理規則を導入する。
これらのルールは観測データから自動的に発見されます。
モデルのパラメーターとルールの内容を学習するために、ルールの内容を潜在変数として扱う期待値最大化 (EM) アルゴリズムを設計します。
EM アルゴリズムは、E ステップと M ステップを交互に実行します。E ステップでは、潜在ルールの内容にわたる事後分布が評価されます。
M ステップでは、ルール ジェネレーターとモデル パラメーターが、現在予想される対数尤度を最大化することによって共同で最適化されます。
私たちのモデルは、スポーツ分析、ロボット工学、自動運転車など、人間の動きの理解が不可欠な分野で幅広い用途に応用できる可能性があります。
私たちは、歩行者と NBA バスケットボール選手のデータセットに対するモデルの優れた解釈可能性と予測パフォーマンスを実証し、どちらも有望な結果を達成しました。

要約(オリジナル)

We propose a logic-informed knowledge-driven modeling framework for human movements by analyzing their trajectories. Our approach is inspired by the fact that human actions are usually driven by their intentions or desires, and are influenced by environmental factors such as the spatial relationships with surrounding objects. In this paper, we introduce a set of spatial-temporal logic rules as knowledge to explain human actions. These rules will be automatically discovered from observational data. To learn the model parameters and the rule content, we design an expectation-maximization (EM) algorithm, which treats the rule content as latent variables. The EM algorithm alternates between the E-step and M-step: in the E-step, the posterior distribution over the latent rule content is evaluated; in the M-step, the rule generator and model parameters are jointly optimized by maximizing the current expected log-likelihood. Our model may have a wide range of applications in areas such as sports analytics, robotics, and autonomous cars, where understanding human movements are essential. We demonstrate the model’s superior interpretability and prediction performance on pedestrian and NBA basketball player datasets, both achieving promising results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google