Fusing Forces: Deep-Human-Guided Refinement of Segmentation Masks

要約

エトルリアの鏡はエトルリア美術の重要なカテゴリーを構成しており、裏面に描かれた精巧な比喩的なイラストが特徴です。
分析と文書化の手間とコストがかかる側面は、これらの図を手動でトレースする作業です。
以前の研究では、ディープ ニューラル ネットワークと組み合わせたフォトメトリック ステレオ スキャンを含む、このプロセスを自動化する方法論が提案されています。
専門家のアノテーターと同様の定量的なパフォーマンスを達成している一方で、一部の結果は依然として定性的な精度に欠けており、そのため、リソースの集約度を維持しながら、検査と潜在的な修正のためにアノテーターが必要になります。
これに応えて、人間のガイダンスに基づいて既存の注釈を対話的に改良するように訓練されたディープ ニューラル ネットワークを提案します。
当社の人間参加型アプローチにより注釈付けが合理化され、手動入力の必要性を最大 75% 削減しながら同等の品質を実現します。
さらに、改良プロセス中に、純粋な手動ラベル付けに対する当社の方法論の相対的な改善は最大 26% のピーク値に達し、大幅に優れた品質をより迅速に達成します。
複雑な線をセグメント化するという複雑なタスクに合わせて調整すること、特に以前の方法と区別することにより、当社のアプローチは効率の大幅な向上をもたらし、エトルリアミラーを超えた幅広い用途に応用可能です。

要約(オリジナル)

Etruscan mirrors constitute a significant category in Etruscan art, characterized by elaborate figurative illustrations featured on their backside. A laborious and costly aspect of their analysis and documentation is the task of manually tracing these illustrations. In previous work, a methodology has been proposed to automate this process, involving photometric-stereo scanning in combination with deep neural networks. While achieving quantitative performance akin to an expert annotator, some results still lack qualitative precision and, thus, require annotators for inspection and potential correction, maintaining resource intensity. In response, we propose a deep neural network trained to interactively refine existing annotations based on human guidance. Our human-in-the-loop approach streamlines annotation, achieving equal quality with up to 75% less manual input required. Moreover, during the refinement process, the relative improvement of our methodology over pure manual labeling reaches peak values of up to 26%, attaining drastically better quality quicker. By being tailored to the complex task of segmenting intricate lines, specifically distinguishing it from previous methods, our approach offers drastic improvements in efficacy, transferable to a broad spectrum of applications beyond Etruscan mirrors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google