Neglected Free Lunch — Learning Image Classifiers Using Annotation Byproducts

要約

画像分類子の教師あり学習は、画像と対応するラベル (X,Y) のペアを通じて、人間の知識をパラメトリック モデルに抽出します。
人間の知識のこの単純で広く使用されている表現は、マウスの軌跡の時系列や画像選択後に残されたクリックなど、注釈手順からの豊富な補助情報を無視していると主張します。
私たちの洞察では、このような注釈副産物 Z は、おおよその人間の注意を提供し、モデルが前景の手がかりに集中するように弱く誘導し、偽の相関を減らし、近道の学習を思いとどまらせます。
これを確認するために、ImageNet-AB と COCO-AB を作成します。
これらは、サンプルごとのアノテーション副産物で強化された ImageNet および COCO トレーニング セットであり、それぞれの元のアノテーション タスクを複製することによって収集されます。
注釈副産物を使用したトレーニング モデルの新しいパラダイムを、注釈副産物を使用した学習 (LUAB) と呼びます。
Y と共に Z を回帰するための単純なマルチタスク損失が、学習済みモデルの一般化可能性とロバスト性をすでに改善していることを示します。
元の教師あり学習と比較して、LUAB は追加のアノテーション コストを必要としません。
ImageNet-AB と COCO-AB は https://github.com/naver-ai/NeglectedFreeLunch にあります。

要約(オリジナル)

Supervised learning of image classifiers distills human knowledge into a parametric model through pairs of images and corresponding labels (X,Y). We argue that this simple and widely used representation of human knowledge neglects rich auxiliary information from the annotation procedure, such as the time-series of mouse traces and clicks left after image selection. Our insight is that such annotation byproducts Z provide approximate human attention that weakly guides the model to focus on the foreground cues, reducing spurious correlations and discouraging shortcut learning. To verify this, we create ImageNet-AB and COCO-AB. They are ImageNet and COCO training sets enriched with sample-wise annotation byproducts, collected by replicating the respective original annotation tasks. We refer to the new paradigm of training models with annotation byproducts as learning using annotation byproducts (LUAB). We show that a simple multitask loss for regressing Z together with Y already improves the generalisability and robustness of the learned models. Compared to the original supervised learning, LUAB does not require extra annotation costs. ImageNet-AB and COCO-AB are at https://github.com/naver-ai/NeglectedFreeLunch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google