Learning-To-Rank Approach for Identifying Everyday Objects Using a Physical-World Search Engine

要約

家庭用サービスロボットは、日々のケアとサポートに対する増大する需要に対するソリューションを提供します。
自動化とオペレーターの介入を組み合わせた人間参加型のアプローチが、社会での使用に対する現実的なアプローチであると考えられています。
したがって、人間参加型設定でオープンボキャブラリーのユーザー命令からターゲットオブジェクトを取得するタスクに焦点を当てます。これは、物理オブジェクトのランク付け (LTRPO) タスクとして定義されます。
たとえば、「丸いテーブルのある食堂に行ってください」という指示があったとします。
その上のボトルを持ち上げてください。」モデルは、オペレーター/ユーザーが選択できるターゲット オブジェクトのランク付けされたリストを出力する必要があります。
この論文では、LTRPO タスクの新しいアプローチである MultiRankIt を提案します。
MultiRankIt では、参照表現を含むフレーズとターゲット境界ボックスの間の関係をモデル化するクロスモーダル名詞フレーズ エンコーダーと、ターゲット オブジェクトとその周囲のコンテキスト環境の複数の画像の間の関係をモデル化するクロスモーダル領域特徴エンコーダーが導入されています。
さらに、さまざまな対象物体を特徴とする実際の屋内環境画像を伴う複雑な参照表現を含む命令で構成される、LTRPO タスク用の新しいデータセットを構築しました。
データセット上でモデルを検証したところ、平均逆数ランクとリコール@k の点でベースライン手法を上回りました。
さらに、人間が参加する設定でのユーザーの指示に基づいて、標準化された家庭環境で家庭用サービスロボットが日常の物品を取得する設定で物理実験を実施しました。
実験の結果、物体の検索成功率は80%に達したことが実証されました。
私たちのコードは https://github.com/keio-smilab23/MultiRankIt で入手できます。

要約(オリジナル)

Domestic service robots offer a solution to the increasing demand for daily care and support. A human-in-the-loop approach that combines automation and operator intervention is considered to be a realistic approach to their use in society. Therefore, we focus on the task of retrieving target objects from open-vocabulary user instructions in a human-in-the-loop setting, which we define as the learning-to-rank physical objects (LTRPO) task. For example, given the instruction ‘Please go to the dining room which has a round table. Pick up the bottle on it,’ the model is required to output a ranked list of target objects that the operator/user can select. In this paper, we propose MultiRankIt, which is a novel approach for the LTRPO task. MultiRankIt introduces the Crossmodal Noun Phrase Encoder to model the relationship between phrases that contain referring expressions and the target bounding box, and the Crossmodal Region Feature Encoder to model the relationship between the target object and multiple images of its surrounding contextual environment. Additionally, we built a new dataset for the LTRPO task that consists of instructions with complex referring expressions accompanied by real indoor environmental images that feature various target objects. We validated our model on the dataset and it outperformed the baseline method in terms of the mean reciprocal rank and recall@k. Furthermore, we conducted physical experiments in a setting where a domestic service robot retrieved everyday objects in a standardized domestic environment, based on users’ instruction in a human–in–the–loop setting. The experimental results demonstrate that the success rate for object retrieval achieved 80%. Our code is available at https://github.com/keio-smilab23/MultiRankIt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google