A Multi-modal Registration and Visualization Software Tool for Artworks using CraquelureNet

要約

絵画の美術調査では、可視光写真、赤外線反射法、紫外線蛍光写真、X線撮影などの複数の画像技術がよく使用されます。
ピクセルごとの比較では、マルチモーダル画像を登録する必要があります。
畳み込みニューラル ネットワークを埋め込んで、自動登録のために歴史的絵画の亀裂構造のクロスモーダル特徴を抽出する、登録および視覚化ソフトウェア ツールを紹介します。
グラフィカル ユーザー インターフェイスは、ユーザーの入力を処理して、登録パラメーターを構成し、登録されたペアと画像オーバーレイを使用して画像ビューを対話的に適応させます。
評価では、我々の方法を歴史的版画に適用することにより、マルチモーダルな絵画とその転写に関する登録性能と短い推論時間の観点から、ソフトウェアツールの有効性を定性的および定量的に示します。

要約(オリジナル)

For art investigations of paintings, multiple imaging technologies, such as visual light photography, infrared reflectography, ultraviolet fluorescence photography, and x-radiography are often used. For a pixel-wise comparison, the multi-modal images have to be registered. We present a registration and visualization software tool, that embeds a convolutional neural network to extract cross-modal features of the crack structures in historical paintings for automatic registration. The graphical user interface processes the user’s input to configure the registration parameters and to interactively adapt the image views with the registered pair and image overlays, such as by individual or synchronized zoom or movements of the views. In the evaluation, we qualitatively and quantitatively show the effectiveness of our software tool in terms of registration performance and short inference time on multi-modal paintings and its transferability by applying our method to historical prints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google