Towards virtual painting recolouring using Vision Transformer on X-Ray Fluorescence datacubes

要約

この寄稿では、絵画作品の蛍光 X 線 (XRF) 分析の生データを使用して、仮想絵画の再着色を実行するパイプラインを定義 (およびテスト) します。
データセットのサイズが小さいことを回避するために、XRF スペクトルのデータベースから始めて合成データセットを生成します。
さらに、より優れた汎化能力を確保するため (そしてメモリ内のサイズと推論時間の問題に取り組むため)、XRF スペクトルを低次元の K 平均法に適した計量空間に埋め込むディープ変分埋め込みネットワークを定義します。
したがって、埋め込まれた XRF 画像にカラー画像を割り当てる一連のモデルをトレーニングします。
ここでは、視覚的な品質指標の観点から考案されたパイプラインのパフォーマンスを報告し、結果についての議論を終了します。

要約(オリジナル)

In this contribution, we define (and test) a pipeline to perform virtual painting recolouring using raw data of X-Ray Fluorescence (XRF) analysis on pictorial artworks. To circumvent the small dataset size, we generate a synthetic dataset, starting from a database of XRF spectra; furthermore, to ensure a better generalisation capacity (and to tackle the issue of in-memory size and inference time), we define a Deep Variational Embedding network to embed the XRF spectra into a lower dimensional, K-Means friendly, metric space. We thus train a set of models to assign coloured images to embedded XRF images. We report here the devised pipeline performances in terms of visual quality metrics, and we close on a discussion on the results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google