ARAIDA: Analogical Reasoning-Augmented Interactive Data Annotation

要約

人間によるアノテーションは、多大な労力を必要とする時間のかかる作業です。
この問題に対処するために、インタラクティブなデータ アノテーションでは、アノテーション モデルを利用して、人間が承認または修正できる提案を提供します。
ただし、限られたラベル付きデータでトレーニングされたアノテーション モデルは、誤った提案を生成する傾向があり、人による余分な修正作業が必要になります。
この課題に取り組むために、対話型データ アノテーション設定における自動アノテーションの精度を向上させ、人間による修正の必要性を減らす、類推ベースのアプローチである Araida を提案します。
Araida には、アノテーション モデルと k 近傍 (KNN) モデルを動的に調整するエラー認識統合戦略が含まれており、アノテーション モデルからの予測が不正確であるとみなされる場合には、KNN の予測をより重要視します。
実証研究により、Araida はさまざまなアノテーション タスクやモデルに適応できることが実証されています。
通常のインタラクティブなデータ注釈方法と比較して、人間による修正作業が平均して 11.02% 削減されます。

要約(オリジナル)

Human annotation is a time-consuming task that requires a significant amount of effort. To address this issue, interactive data annotation utilizes an annotation model to provide suggestions for humans to approve or correct. However, annotation models trained with limited labeled data are prone to generating incorrect suggestions, leading to extra human correction effort. To tackle this challenge, we propose Araida, an analogical reasoning-based approach that enhances automatic annotation accuracy in the interactive data annotation setting and reduces the need for human corrections. Araida involves an error-aware integration strategy that dynamically coordinates an annotation model and a k-nearest neighbors (KNN) model, giving more importance to KNN’s predictions when predictions from the annotation model are deemed inaccurate. Empirical studies demonstrate that Araida is adaptable to different annotation tasks and models. On average, it reduces human correction labor by 11.02% compared to vanilla interactive data annotation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google