A Critical View Of Vision-Based Long-Term Dynamics Prediction Under Environment Misalignment

要約

シーンオブジェクトの現在の状態と事前の状態に基づいて将来の状態を予測する問題であるダイナミクス予測は、学習物理学の一例として注目されている。この問題を解決するために、ビジョンベースのモデルであるRegion Proposal Convolutional Interaction Network (RPCIN)が提案され、長期予測において最先端の性能を達成しました。RPCINは、生画像と、各オブジェクトのバウンディングボックスやセグメンテーションマスクといった簡単なオブジェクト記述のみを入力とする。しかし、その成功にもかかわらず、環境のズレがある条件下では、このモデルの能力が損なわれることがある。本論文では、環境の不整合に関する2つの困難な条件について調査する：本論文では、環境のズレに関する2つの困難な条件、すなわちクロスドメインとクロスコンテクストについて、これらの課題に対応した4つのデータセットを提案することによって調査する：SimB-Border、SimB-Split、BlenB-Border、BlenB-Splitである。これらのデータセットは、2つのドメインと2つのコンテキストをカバーしている。RPCINをプローブとして、提案したデータセットの組み合わせで行った実験により、視覚に基づく長期ダイナミクス予測モデルの潜在的な弱点が明らかになった。さらに、Cross-Domain課題を緩和する有望な方向性を提案し、その方向性を支持する具体的な証拠を提供することで、提案されたデータセットにおいて課題の劇的な緩和を実現する。

要約(オリジナル)

Dynamics prediction, which is the problem of predicting future states of scene objects based on current and prior states, is drawing increasing attention as an instance of learning physics. To solve this problem, Region Proposal Convolutional Interaction Network (RPCIN), a vision-based model, was proposed and achieved state-of-the-art performance in long-term prediction. RPCIN only takes raw images and simple object descriptions, such as the bounding box and segmentation mask of each object, as input. However, despite its success, the model’s capability can be compromised under conditions of environment misalignment. In this paper, we investigate two challenging conditions for environment misalignment: Cross-Domain and Cross-Context by proposing four datasets that are designed for these challenges: SimB-Border, SimB-Split, BlenB-Border, and BlenB-Split. The datasets cover two domains and two contexts. Using RPCIN as a probe, experiments conducted on the combinations of the proposed datasets reveal potential weaknesses of the vision-based long-term dynamics prediction model. Furthermore, we propose a promising direction to mitigate the Cross-Domain challenge and provide concrete evidence supporting such a direction, which provides dramatic alleviation of the challenge on the proposed datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL