What Sketch Explainability Really Means for Downstream Tasks

要約

この論文では、従来のピクセル指向の研究と比較して人間のストロークの重大な影響を強調しながら、説明可能性のためのスケッチのユニークな様式を探求します。
ネットワークの動作の説明を超えて、さまざまな下流のスケッチ関連タスクにわたる説明可能性の真の意味を識別します。
私たちは、軽量でポータブルな説明可能性ソリューション、つまり事前トレーニングされたモデルと簡単に統合できるシームレスなプラグインを提案し、再トレーニングの必要性を排除します。
その適応性を実証するために、高度に研究された検索と生成、およびまったく新しい描画支援とスケッチ敵対的攻撃の 4 つのアプリケーションを紹介します。
私たちのソリューションの中心となるのは、下流のタスクとリンクされたときにさまざまな形をとるストロークレベルのアトリビューション マップです。
ラスタライゼーションの固有の非微分性に対処することで、粗ストローク レベル (SLA) と部分ストローク レベル (P-SLA) の両方での説明が可能になり、それぞれに特定の下流タスクに対する利点があります。

要約(オリジナル)

In this paper, we explore the unique modality of sketch for explainability, emphasising the profound impact of human strokes compared to conventional pixel-oriented studies. Beyond explanations of network behavior, we discern the genuine implications of explainability across diverse downstream sketch-related tasks. We propose a lightweight and portable explainability solution — a seamless plugin that integrates effortlessly with any pre-trained model, eliminating the need for re-training. Demonstrating its adaptability, we present four applications: highly studied retrieval and generation, and completely novel assisted drawing and sketch adversarial attacks. The centrepiece to our solution is a stroke-level attribution map that takes different forms when linked with downstream tasks. By addressing the inherent non-differentiability of rasterisation, we enable explanations at both coarse stroke level (SLA) and partial stroke level (P-SLA), each with its advantages for specific downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google