Neglected Free Lunch — Learning Image Classifiers Using Annotation Byproducts

要約

画像分類器の教師あり学習は、画像と対応するラベル (X、Y) のペアを通じて人間の知識をパラメトリック モデルに抽出します。
私たちは、人間の知識のこの単純で広く使用されている表現は、マウスの軌跡や画像選択後に残されたクリックの時系列など、注釈手順からの豊富な補助情報を無視していると主張します。
私たちの洞察によると、このようなアノテーションの副産物 Z は人間の注意に近いものを提供し、モデルが前景の手がかりに焦点を合わせるように弱く誘導し、偽の相関を減らし、ショートカットの学習を妨げるということです。
これを検証するために、ImageNet-AB と COCO-AB を作成します。
これらは、それぞれの元のアノテーション タスクを複製することによって収集された、サンプル単位のアノテーション副産物で強化された ImageNet および COCO トレーニング セットです。
アノテーション副産物を使用したトレーニング モデルの新しいパラダイムを、アノテーション副産物を使用した学習 (LUAB) と呼びます。
Z と Y を回帰するための単純なマルチタスク損失により、学習済みモデルの一般化性と堅牢性がすでに向上していることを示します。
元の教師あり学習と比較して、LUAB では追加のアノテーション コストが必要ありません。
ImageNet-AB と COCO-AB は https://github.com/naver-ai/NeglectedFreeLunch にあります。

要約(オリジナル)

Supervised learning of image classifiers distills human knowledge into a parametric model through pairs of images and corresponding labels (X,Y). We argue that this simple and widely used representation of human knowledge neglects rich auxiliary information from the annotation procedure, such as the time-series of mouse traces and clicks left after image selection. Our insight is that such annotation byproducts Z provide approximate human attention that weakly guides the model to focus on the foreground cues, reducing spurious correlations and discouraging shortcut learning. To verify this, we create ImageNet-AB and COCO-AB. They are ImageNet and COCO training sets enriched with sample-wise annotation byproducts, collected by replicating the respective original annotation tasks. We refer to the new paradigm of training models with annotation byproducts as learning using annotation byproducts (LUAB). We show that a simple multitask loss for regressing Z together with Y already improves the generalisability and robustness of the learned models. Compared to the original supervised learning, LUAB does not require extra annotation costs. ImageNet-AB and COCO-AB are at https://github.com/naver-ai/NeglectedFreeLunch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google