Thread Counting in Plain Weave for Old Paintings Using Semi-Supervised Regression Deep Learning Models

要約

タイトル：半教師あり回帰ディープラーニングモデルを用いた平織り織物の糸の数の数え方

要約：
– 糸密度推定のために、深層学習に基づく回帰手法を開発した。これは、平織りキャンバスの解析に利用される。
– Fourier解析を基にした従来手法は、一部のシナリオに対しては非常に頑健だが、一部のシナリオでは失敗する。このため、前処理を必要としないスレッド交差点のセグメンテーションを行う機械学習ツールが提案された。
– この新しい提案では、画像からスレッドの密度を直接回帰ディープラーニングモデルを用いて計算することで、セグメンテーションのステップを省略する。事前のラベリングが必要なく、全てのシナリオで良好な推定結果を提供する。
– 複数のモデルが提案され、最適なモデルを選定する分析が行われた。さらに、半教師ありアプローチを導入することにより、密度推定誤差をさらに低減した。
– このノベルアルゴリズムの性能は、Ribera、Vel\’azquez、Poussinの作品に適用され、従来手法の結果と比較された。最後に、この方法は、プラド美術館における傑作の著者変更を支援するために実践された。

要約(オリジナル)

In this work, the authors develop regression approaches based on deep learning to perform thread density estimation for plain weave canvas analysis. Previous approaches were based on Fourier analysis, which is quite robust for some scenarios but fails in some others, in machine learning tools, that involve pre-labeling of the painting at hand, or the segmentation of thread crossing points, that provides good estimations in all scenarios with no need of pre-labeling. The segmentation approach is time-consuming as the estimation of the densities is performed after locating the crossing points. In this novel proposal, we avoid this step by computing the density of threads directly from the image with a regression deep learning model. We also incorporate some improvements in the initial preprocessing of the input image with an impact on the final error. Several models are proposed and analyzed to retain the best one. Furthermore, we further reduce the density estimation error by introducing a semi-supervised approach. The performance of our novel algorithm is analyzed with works by Ribera, Vel\’azquez, and Poussin where we compare our results to the ones of previous approaches. Finally, the method is put into practice to support the change of authorship or a masterpiece at the Museo del Prado.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI