Artwork Protection Against Neural Style Transfer Using Locally Adaptive Adversarial Color Attack

要約

ニューラル・スタイル・トランスファー（NST）は、ある画像のスタイルと別の画像のコンテンツを組み合わせることで新しい画像を生成する。しかし、無許可のNSTはアートワークを悪用する可能性があるため、アーティストの権利に関する懸念が生じ、積極的な保護手法の開発の動機となる。我々は、アーティストが公開前に処理を行うことで、無許可のスタイル転送から作品を保護できるようにする、局所適応型逆行性色攻撃（LAACA）を提案する。人間の視覚知覚の複雑さと異なる周波数成分の役割を掘り下げることで、我々の手法は画像に周波数適応的な摂動を戦略的に導入する。これらの摂動は、オリジナル画像の視覚的変化を許容できるレベルに維持しながら、NSTの生成品質を大幅に劣化させるため、潜在的な侵害者は、NSTの生成品質が悪いことを理由に、保護された芸術作品の使用を思いとどまることができます。さらに、既存のメトリクスは、NST生成画像の品質のような色分解タスクの評価における色忠実度の重要性を見落としていることが多く、これは芸術作品の文脈では極めて重要である。色分解されたタスクを包括的に評価するために、我々はAdversarial Color Distance Metric (ACDM)を提案する。実験の結果、LAACAを使用してNSTを攻撃すると、視覚的に劣ったスタイルが転写されることが確認され、ACDMは色分解されたタスクを効率的に測定することができる。アーティストの知的財産を保護するツールを提供することで、我々の研究は、アート・コミュニティにおけるNSTの悪用がもたらす社会技術的課題を緩和する。

要約(オリジナル)

Neural style transfer (NST) generates new images by combining the style of one image with the content of another. However, unauthorized NST can exploit artwork, raising concerns about artists’ rights and motivating the development of proactive protection methods. We propose Locally Adaptive Adversarial Color Attack (LAACA), empowering artists to protect their artwork from unauthorized style transfer by processing before public release. By delving into the intricacies of human visual perception and the role of different frequency components, our method strategically introduces frequency-adaptive perturbations in the image. These perturbations significantly degrade the generation quality of NST while maintaining an acceptable level of visual change in the original image, ensuring that potential infringers are discouraged from using the protected artworks, because of its bad NST generation quality. Additionally, existing metrics often overlook the importance of color fidelity in evaluating color-mattered tasks, such as the quality of NST-generated images, which is crucial in the context of artistic works. To comprehensively assess the color-mattered tasks, we propose the Adversarial Color Distance Metric (ACDM), designed to quantify the color difference of images pre- and post-manipulations. Experimental results confirm that attacking NST using LAACA results in visually inferior style transfer, and the ACDM can efficiently measure color-mattered tasks. By providing artists with a tool to safeguard their intellectual property, our work relieves the socio-technical challenges posed by the misuse of NST in the art community.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL