Label Errors in the Tobacco3482 Dataset

要約

Tobacco3482 は、広く使用されているドキュメント分類ベンチマーク データセットです。
ただし、データセット全体を手動で検査すると、広範な存在論的問題、特にデータセット内の大量のアノテーション ラベルの問題が明らかになります。
データ ラベルのガイドラインを確立したところ、データセットの 11.7% に不適切なアノテーションが付けられており、未知のラベルまたは修正されたラベルが必要であること、およびデータセット内のサンプルの 16.7% に複数の有効なラベルがあることがわかりました。
次に、最高パフォーマンスのモデルの間違いを分析したところ、モデルの間違いの 35% がこれらのラベルの問題に直接起因している可能性があることがわかり、ノイズの多いラベル付きデータセットをベンチマークとして使用する場合に固有の問題が浮き彫りになります。
データセットの注釈やコードを含む補足資料は、https://github.com/gordon-lim/tobacco3482-missing/ で入手できます。

要約(オリジナル)

Tobacco3482 is a widely used document classification benchmark dataset. However, our manual inspection of the entire dataset uncovers widespread ontological issues, especially large amounts of annotation label problems in the dataset. We establish data label guidelines and find that 11.7% of the dataset is improperly annotated and should either have an unknown label or a corrected label, and 16.7% of samples in the dataset have multiple valid labels. We then analyze the mistakes of a top-performing model and find that 35% of the model’s mistakes can be directly attributed to these label issues, highlighting the inherent problems with using a noisily labeled dataset as a benchmark. Supplementary material, including dataset annotations and code, is available at https://github.com/gordon-lim/tobacco3482-mistakes/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google