Dunhuang murals contour generation network based on convolution and self-attention fusion

要約

敦煌の壁画は、中国式と民族式のコレクションであり、自己完結型の中国式仏教芸術を形成しています。
非常に高い歴史的、文化的価値と研究的意義を持っています。
その中でも、敦煌の壁画の線は非常に一般的で表現力豊かです。
キャラクターの独特の性格と複雑な内面の感情を反映しています。
したがって、壁画の外形図は敦煌文化の研究にとって重要な意味を持っています。
敦煌壁画の輪郭生成は、コンピューター ビジョンの重要な分野である画像エッジ検出に属し、画像内の顕著な輪郭情報を抽出することを目的としています。
畳み込みベースの深層学習ネットワークは、画像の文脈的および意味的特徴を調査することにより、画像エッジ抽出で良い結果を達成しましたが。
ただし、受容野の拡大に伴い、一部の局所的な詳細情報が失われます。
これでは、壁画の合理的な外形図を作成することはできません。
この論文では、敦煌の壁画の線画を生成するために、畳み込みと組み合わせた自己注意に基づく新しいエッジ検出器を提案します。
既存のエッジ検出方法と比較して、まず、新しい残留自己注意と畳み込み混合モジュール (Ramix) が提案され、特徴マップのローカルおよびグローバル特徴が融合されます。
第二に、密に接続された新しいバックボーン抽出ネットワークは、豊富なエッジ機能情報を浅い層から深い層に効率的に伝播するように設計されています。
既存の方法と比較して、さまざまな公開データセットで、私たちの方法がよりシャープでリッチなエッジ マップを生成できることが示されています。
さらに、Dunhuang の壁画データセットでのテストでは、私たちの方法が非常に競争力のあるパフォーマンスを達成できることが示されています。

要約(オリジナル)

Dunhuang murals are a collection of Chinese style and national style, forming a self-contained Chinese-style Buddhist art. It has very high historical and cultural value and research significance. Among them, the lines of Dunhuang murals are highly general and expressive. It reflects the character’s distinctive character and complex inner emotions. Therefore, the outline drawing of murals is of great significance to the research of Dunhuang Culture. The contour generation of Dunhuang murals belongs to image edge detection, which is an important branch of computer vision, aims to extract salient contour information in images. Although convolution-based deep learning networks have achieved good results in image edge extraction by exploring the contextual and semantic features of images. However, with the enlargement of the receptive field, some local detail information is lost. This makes it impossible for them to generate reasonable outline drawings of murals. In this paper, we propose a novel edge detector based on self-attention combined with convolution to generate line drawings of Dunhuang murals. Compared with existing edge detection methods, firstly, a new residual self-attention and convolution mixed module (Ramix) is proposed to fuse local and global features in feature maps. Secondly, a novel densely connected backbone extraction network is designed to efficiently propagate rich edge feature information from shallow layers into deep layers. Compared with existing methods, it is shown on different public datasets that our method is able to generate sharper and richer edge maps. In addition, testing on the Dunhuang mural dataset shows that our method can achieve very competitive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google