Learning to Complement with Multiple Humans

要約

現実世界の画像分類タスクは複雑になる傾向があり、専門のラベル作成者は画像内に存在するクラスについて確信が持てない場合があり、ノイズの多いラベルによる学習 (LNL) の問題が発生します。
LNL タスクの不適切な姿勢により、強い仮定を採用するか、トレーニング画像ごとに複数のノイズのあるラベルを使用する必要があり、その結果、単独では適切に機能する正確なモデルが得られますが、人間と AI の協調分類 (HAI-CC) を最適化することはできません。
このような LNL 手法とは異なり、HAI-CC は人間の専門知識と AI 機能の間の相乗効果を活用することを目的としていますが、クリーンなトレーニング ラベルが必要であり、現実世界への適用性は制限されています。
この文書では、革新的な Learning to Complement with Multiple Humans (LECOMH) アプローチを導入することで、このギャップに対処します。
LECOMH は、クリーンなラベルに依存せずにノイズの多いラベルから学習するように設計されており、画像ごとに必要な人間による専門家の注釈の数によって測定される人間によるコラボレーションのコストを最小限に抑えながら、共同作業の精度を同時に最大化します。
さらに、HAI-CC 手法を評価するために、トレーニングとテストの両方に対して複数のノイズの多いラベルを特徴とする新しいベンチマークが提案されています。
これらのベンチマークでの定量的な比較を通じて、LECOMH は、さまざまなデータセットにわたって、競合する HAI-CC アプローチ、ヒューマン ラベラー、マルチ評価者学習、およびノイジー ラベル学習手法を常に上回り、現実世界の画像分類の課題に対処するための有望なソリューションを提供します。

要約(オリジナル)

Real-world image classification tasks tend to be complex, where expert labellers are sometimes unsure about the classes present in the images, leading to the issue of learning with noisy labels (LNL). The ill-posedness of the LNL task requires the adoption of strong assumptions or the use of multiple noisy labels per training image, resulting in accurate models that work well in isolation but fail to optimise human-AI collaborative classification (HAI-CC). Unlike such LNL methods, HAI-CC aims to leverage the synergies between human expertise and AI capabilities but requires clean training labels, limiting its real-world applicability. This paper addresses this gap by introducing the innovative Learning to Complement with Multiple Humans (LECOMH) approach. LECOMH is designed to learn from noisy labels without depending on clean labels, simultaneously maximising collaborative accuracy while minimising the cost of human collaboration, measured by the number of human expert annotations required per image. Additionally, new benchmarks featuring multiple noisy labels for both training and testing are proposed to evaluate HAI-CC methods. Through quantitative comparisons on these benchmarks, LECOMH consistently outperforms competitive HAI-CC approaches, human labellers, multi-rater learning, and noisy-label learning methods across various datasets, offering a promising solution for addressing real-world image classification challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google