Why Are You Wrong? Counterfactual Explanations for Language Grounding with 3D Objects

要約

自然言語と幾何学的形状を組み合わせることは、ロボット工学と言語支援設計に複数のアプリケーションを備えた新興の研究分野です。
このドメインの重要なタスクは、ターゲットのテキストの説明が与えられた3Dオブジェクトの選択を含むオブジェクト参照識別です。
言語の説明と3Dオブジェクトの空間的関係の変動は、これを複雑なタスクにし、このドメインのニューラルネットワークモデルの挙動をよりよく理解する必要性を高めます。
ただし、この分野では限られた研究が行われています。
具体的には、モデルが一見正しいオブジェクトの説明を提供されているにもかかわらず、誤った予測を行うと、実践者は「なぜモデルが間違っているのか」と疑問に思っています。
この作業では、反事実的な例を生成することにより、この質問に答える方法を提示します。
私たちの方法は、2つのオブジェクトとテキストの説明を含む誤分類サンプルを採用し、モデルによる正しい予測をもたらす代替であるが同様の定式化を生成します。
3つの異なるモデルとともに、Shapetalkデータセットのデータを使用してアプローチを評価しました。
私たちの反事実的な例は、元の説明の構造を維持し、意味的に似ており、意味があります。
それらは、説明、モデルバイアスの弱点を明らかにし、モデルの動作の理解を高めます。
これらの洞察は、開業医がシステムやエンジニアとの対話をよりよくやり取りするのに役立ち、モデルを改善します。

要約(オリジナル)

Combining natural language and geometric shapes is an emerging research area with multiple applications in robotics and language-assisted design. A crucial task in this domain is object referent identification, which involves selecting a 3D object given a textual description of the target. Variability in language descriptions and spatial relationships of 3D objects makes this a complex task, increasing the need to better understand the behavior of neural network models in this domain. However, limited research has been conducted in this area. Specifically, when a model makes an incorrect prediction despite being provided with a seemingly correct object description, practitioners are left wondering: ‘Why is the model wrong?’. In this work, we present a method answering this question by generating counterfactual examples. Our method takes a misclassified sample, which includes two objects and a text description, and generates an alternative yet similar formulation that would have resulted in a correct prediction by the model. We have evaluated our approach with data from the ShapeTalk dataset along with three distinct models. Our counterfactual examples maintain the structure of the original description, are semantically similar and meaningful. They reveal weaknesses in the description, model bias and enhance the understanding of the models behavior. Theses insights help practitioners to better interact with systems as well as engineers to improve models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google