Every Mistake Counts in Assembly

要約

AI アシスタントの有望なユースケースの 1 つは、料理、家の修理、組み立て作業などの複雑な手順を支援することです。
ユーザーが間違いを犯した後にアシスタントに口を挟むように教えることはできるでしょうか?
この論文は、組立手順における発注ミスを特定するという問題を対象としています。
学習した知識ベースを活用して発注ミスを検知するシステムを提案します。
私たちのフレームワークは、観察された間違いに基づいた空間的および時間的な信念を備えた知識ベースを構築します。
空間的信念は、組み立てられるコンポーネントの位相関係を描写しますが、時間的信念は、前提条件となるアクションを順序付けの制約として集約します。
エピソード記憶設計により、当社のアルゴリズムは、より多くのアクションが観察されると、すべてオンライン形式で動的に信念セットを更新および構築できます。
私たちは、推定された空間的および時間的信念が、現実世界のアクションシーケンスにおける誤った順序を特定できることを実験的に示します。
空間的信念を構築するために、おもちゃの部品の位置に基づいて、Assembly101 の粗いレベルのアクション アノテーションの新しいセットを収集します。
最後に、Assembly101 データセットの順序ミスを検出する際の信念推論アルゴリズムの優れたパフォーマンスを実証します。

要約(オリジナル)

One promising use case of AI assistants is to help with complex procedures like cooking, home repair, and assembly tasks. Can we teach the assistant to interject after the user makes a mistake? This paper targets the problem of identifying ordering mistakes in assembly procedures. We propose a system that can detect ordering mistakes by utilizing a learned knowledge base. Our framework constructs a knowledge base with spatial and temporal beliefs based on observed mistakes. Spatial beliefs depict the topological relationship of the assembling components, while temporal beliefs aggregate prerequisite actions as ordering constraints. With an episodic memory design, our algorithm can dynamically update and construct the belief sets as more actions are observed, all in an online fashion. We demonstrate experimentally that our inferred spatial and temporal beliefs are capable of identifying incorrect orderings in real-world action sequences. To construct the spatial beliefs, we collect a new set of coarse-level action annotations for Assembly101 based on the positioning of the toy parts. Finally, we demonstrate the superior performance of our belief inference algorithm in detecting ordering mistakes on the Assembly101 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google