Relax, it doesn’t matter how you get there: A new self-supervised approach for multi-timescale behavior analysis

要約

自然な行動は、複雑で予測不可能なダイナミクスで構成されており、特に未来への多くのステップを予測しようとする場合に顕著です。
制約された、または単純化されたタスクベースの条件下で行動の表現を構築することにはある程度の成功が見られますが、これらのモデルの多くは、行動のモデル化がますます困難になる自由で自然主義的な設定には適用できません。
この作業では、2 つの新しいコンポーネントを組み合わせた行動のマルチタスク表現学習モデルを開発します。
短期および長期のダイナミクスに対応するために、個別の潜在空間を構築します。
さまざまな環境と地形で現実的なロボットのローカルとグローバルの両方のダイナミクスの表現を構築する方法の能力を実証した後、モデルが全体およびすべてのグローバル タスクで 1 位にランクされる MABe 2022 マルチエージェント動作チャレンジにこの方法を適用します。
、および 9 つのフレーム レベル タスクのうち 7 つのタスクで 1 番目または 2 番目。
これらすべてのケースで、私たちのモデルが、行動を促進し、幅広いダウンストリーム タスクを解決するさまざまな要因を捉える表現を構築できることを示しています。

要約(オリジナル)

Natural behavior consists of dynamics that are complex and unpredictable, especially when trying to predict many steps into the future. While some success has been found in building representations of behavior under constrained or simplified task-based conditions, many of these models cannot be applied to free and naturalistic settings where behavior becomes increasingly hard to model. In this work, we develop a multi-task representation learning model for behavior that combines two novel components: (i) An action prediction objective that aims to predict the distribution of actions over future timesteps, and (ii) A multi-scale architecture that builds separate latent spaces to accommodate short- and long-term dynamics. After demonstrating the ability of the method to build representations of both local and global dynamics in realistic robots in varying environments and terrains, we apply our method to the MABe 2022 Multi-agent behavior challenge, where our model ranks 1st overall and on all global tasks, and 1st or 2nd on 7 out of 9 frame-level tasks. In all of these cases, we show that our model can build representations that capture the many different factors that drive behavior and solve a wide range of downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google