Object Permanence Emerges in a Random Walk along Memory

要約

この論文は、閉塞下のオブジェクトをローカライズする表現を学習するための自己監視の目的を提案します-オブジェクトの永続性として知られているプロパティ。
中心的な問題は、完全閉塞の場合の学習信号の選択です。
目に見えないオブジェクトの位置を直接監視するのではなく、人間の注釈やオブジェクトのダイナミクスに関する仮定を必要としない自己監視の目的を提案します。
オブジェクトの永続性は、メモリの時間的コヒーレンスを最適化することによって出現する可能性があることを示します。各タイムステップの状態がシーケンスエンコーダからの非マルコフ特徴であるメモリの時空グラフに沿ってマルコフウォークを適合させます。
これは、閉塞されたオブジェクトを保存し、それらの動きを予測して、それらをより適切にローカライズするメモリ表現につながります。
結果として得られるモデルは、最小限の監視しか必要としないにもかかわらず、複雑さとリアリズムが増すいくつかのデータセットに対する既存のアプローチよりも優れているため、広く適用できます。

要約(オリジナル)

This paper proposes a self-supervised objective for learning representations that localize objects under occlusion – a property known as object permanence. A central question is the choice of learning signal in cases of total occlusion. Rather than directly supervising the locations of invisible objects, we propose a self-supervised objective that requires neither human annotation, nor assumptions about object dynamics. We show that object permanence can emerge by optimizing for temporal coherence of memory: we fit a Markov walk along a space-time graph of memories, where the states in each time step are non-Markovian features from a sequence encoder. This leads to a memory representation that stores occluded objects and predicts their motion, to better localize them. The resulting model outperforms existing approaches on several datasets of increasing complexity and realism, despite requiring minimal supervision, and hence being broadly applicable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google