Nearest Neighbor Future Captioning: Generating Descriptions for Possible Collisions in Object Placement Tasks

要約

日常環境で人々をサポートする家庭用サービス ロボット (DSR) が広く研究されています。
しかし、自分自身の行動から生じる将来のリスクを予測し説明する能力は依然として不十分です。
この研究では、DSR の言語的説明可能性に焦点を当てます。
既存の手法のほとんどは、衝突の可能性がある領域を明示的にモデル化していません。
したがって、これらの領域の説明は適切に生成されません。
この論文では、将来の衝突の可能性をキャプションするための最近傍言語モデルを導入した最近傍将来キャプション モデルを提案します。これにより、最近傍検索メカニズムでモデル出力が強化されます。
さらに、衝突の可能性のある領域に対応する衝突注意モジュールを導入します。これにより、モデルは、衝突の可能性のあるオブジェクトに関連するオブジェクトを適切に反映する記述を生成できます。
私たちの方法を検証するために、DSR がシミュレーション環境にオブジェクトを配置するときに発生する可能性のある衝突のサンプルを含む新しいデータセットを構築しました。
実験結果は、標準的な指標に基づいて、私たちの方法がベースライン方法よりも優れていることを実証しました。
特に、CIDEr-D では、ベースライン手法は 25.09 ポイントを獲得しましたが、私たちの手法は 33.08 ポイントを獲得しました。

要約(オリジナル)

Domestic service robots (DSRs) that support people in everyday environments have been widely investigated. However, their ability to predict and describe future risks resulting from their own actions remains insufficient. In this study, we focus on the linguistic explainability of DSRs. Most existing methods do not explicitly model the region of possible collisions; thus, they do not properly generate descriptions of these regions. In this paper, we propose the Nearest Neighbor Future Captioning Model that introduces the Nearest Neighbor Language Model for future captioning of possible collisions, which enhances the model output with a nearest neighbors retrieval mechanism. Furthermore, we introduce the Collision Attention Module that attends regions of possible collisions, which enables our model to generate descriptions that adequately reflect the objects associated with possible collisions. To validate our method, we constructed a new dataset containing samples of collisions that can occur when a DSR places an object in a simulation environment. The experimental results demonstrated that our method outperformed baseline methods, based on the standard metrics. In particular, on CIDEr-D, the baseline method obtained 25.09 points, whereas our method obtained 33.08 points.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google