Model-Assisted Labeling via Explainability for Visual Inspection of Civil Infrastructures

要約

視覚的なセグメンテーションのための画像のラベル付けは、特に土木工学などの専門の専門家の注釈者によってラベルを提供する必要があるアプリケーション ドメインでは、コストがかかる可能性がある時間のかかる作業です。
この論文では、土木インフラストラクチャの目視検査のための欠陥セグメンテーションの場合に、専門家のアノテーターとアノテートされるデータとの間の貴重な相互作用を活用するために、帰属方法を使用することを提案します。
具体的には、分類器は欠陥を検出するようにトレーニングされ、属性ベースの方法と敵対的クライミングと組み合わせて、分類出力に対応するセグメンテーション マスクを生成および改良します。
これらは、アノテーターがそれらを受け入れる、拒否する、または変更することを決定することにより、提案セグメンテーション マスクとしてそれらと対話できる支援されたラベル付けフレームワーク内で使用され、対話は弱いラベルとして記録され、分類器をさらに改良します。
橋梁の自動目視検査から得られた実世界のデータセットに適用すると、提案された方法は、欠陥の手動注釈と比較して、注釈者の時間を 50\% 以上節約できます。

要約(オリジナル)

Labeling images for visual segmentation is a time-consuming task which can be costly, particularly in application domains where labels have to be provided by specialized expert annotators, such as civil engineering. In this paper, we propose to use attribution methods to harness the valuable interactions between expert annotators and the data to be annotated in the case of defect segmentation for visual inspection of civil infrastructures. Concretely, a classifier is trained to detect defects and coupled with an attribution-based method and adversarial climbing to generate and refine segmentation masks corresponding to the classification outputs. These are used within an assisted labeling framework where the annotators can interact with them as proposal segmentation masks by deciding to accept, reject or modify them, and interactions are logged as weak labels to further refine the classifier. Applied on a real-world dataset resulting from the automated visual inspection of bridges, our proposed method is able to save more than 50\% of annotators’ time when compared to manual annotation of defects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google