Beyond Object Recognition: A New Benchmark towards Object Concept Learning

要約

オブジェクトを理解することは、特にエンボディド AI にとって、人工知能の中心的な構成要素です。
オブジェクト認識は深層学習で優れていますが、現在の機械は、オブジェクトが持つ属性や、オブジェクトで何ができるかなど、より高度な知識を学習するのにまだ苦労しています。
この作業では、オブジェクトの理解の限界を押し広げる挑戦的なオブジェクト概念学習 (OCL) タスクを提案します。
オブジェクトのアフォーダンスを推論し、同時にその理由、つまりオブジェクトがこれらのアフォーダンスを持っているのはどのような属性なのかを機械が明らかにする必要があります。
OCL をサポートするために、3 つのレベルのオブジェクト概念 (カテゴリ、属性、アフォーダンス) の広範なラベルと、3 つのレベルの因果関係を含む、密に注釈が付けられたナレッジ ベースを構築します。
OCL の因果構造を分析することにより、ベースラインである Object Concept Reasoning Network (OCRN) を提示します。
因果介入と概念のインスタンス化を活用して、因果関係に続く 3 つのレベルを推論します。
実験では、OCRN は因果関係をよく追跡しながらオブジェクトの知識を効果的に推論します。
私たちのデータとコードは、https://mvig-rhos.com/ocl で入手できます。

要約(オリジナル)

Understanding objects is a central building block of artificial intelligence, especially for embodied AI. Even though object recognition excels with deep learning, current machines still struggle to learn higher-level knowledge, e.g., what attributes an object has, and what can we do with an object. In this work, we propose a challenging Object Concept Learning (OCL) task to push the envelope of object understanding. It requires machines to reason out object affordances and simultaneously give the reason: what attributes make an object possesses these affordances. To support OCL, we build a densely annotated knowledge base including extensive labels for three levels of object concept (category, attribute, affordance), and the causal relations of three levels. By analyzing the causal structure of OCL, we present a baseline, Object Concept Reasoning Network (OCRN). It leverages causal intervention and concept instantiation to infer the three levels following their causal relations. In experiments, OCRN effectively infers the object knowledge while following the causalities well. Our data and code are available at https://mvig-rhos.com/ocl.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google