Crossing Points Detection in Plain Weave for Old Paintings with Deep Learning

要約

絵画の傑作の法医学的研究では、サポートの分析が非常に重要です。
平織り生地の場合、タテ糸とヨコ糸の密度が主な特徴として使用されますが、タテ軸とヨコ軸からの角度偏差も役立ちます。
これらの機能は、キャンバスを通じてローカルで調べることができます。
この作業では、これらの局所的な密度と角度の研究を実行するためのツールとしてディープ ラーニングが提案されています。
Vel\’azquez、Rubens、Ribera などの 36 点の絵画のサンプルを使用してモデルをトレーニングしました。
データの準備と拡張は、パイプラインの最初の段階で処理されます。
次に、スレッド間の交差ポイントの監視付きセグメンテーションに焦点を当てます。
開始とダイス損失を伴う U-Net は、このタスクに適した選択肢として提示されます。
次に、セグメント化された交点に基づいて密度と角度が推定されます。
いくつかのキャンバスの分析のテスト結果と、この問題で広く使用されている周波数領域の方法との比較を報告します。
この新しいアプローチは、周波数分析ツールが失敗するいくつかのケースでは成功し、他のケースでは結果を改善すると結論付けました.
その上、私たちの提案は、処理される画像の一部のラベリングを必要としません。
ケース スタディとして、この新しいアルゴリズムを Vel\’azquez と Murillo による 2 組のキャンバスの分析に適用し、使用された生地が同じロールのものであると結論付けました。

要約(オリジナル)

In the forensic studies of painting masterpieces, the analysis of the support is of major importance. For plain weave fabrics, the densities of vertical and horizontal threads are used as main features, while angle deviations from the vertical and horizontal axis are also of help. These features can be studied locally through the canvas. In this work, deep learning is proposed as a tool to perform these local densities and angle studies. We trained the model with samples from 36 paintings by Vel\’azquez, Rubens or Ribera, among others. The data preparation and augmentation are dealt with at a first stage of the pipeline. We then focus on the supervised segmentation of crossing points between threads. The U-Net with inception and Dice loss are presented as good choices for this task. Densities and angles are then estimated based on the segmented crossing points. We report test results of the analysis of a few canvases and a comparison with methods in the frequency domain, widely used in this problem. We concluded that this new approach succeeds in some cases where the frequency analysis tools fail, while improving the results in others. Besides, our proposal does not need the labeling of part of the to-be-processed image. As case studies, we apply this novel algorithm to the analysis of two pairs of canvases by Vel\’azquez and Murillo, to conclude that the fabrics used came from the same roll.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google