ImageEye: Batch Image Processing Using Program Synthesis

要約

タイトル：「ImageEye：プログラム合成を利用したバッチ画像処理」
要約：
– この論文では、バッチ画像処理にプログラム合成を利用した新しい手法を提案している。
– 既存のツールが画像全体にしか編集を適用できないのに対し、この手法は画像内の個々のオブジェクトに微細な編集を適用できる。
– たとえば、この手法を用いて、特定のプロパティを持つオブジェクトを選択的にぼかしたりトリミングしたりすることができる。
– そのために、画像分類のための事前訓練されたニューラルネットワークと、象徴的な推論を可能にする他の言語構造を組み合わせた神経記号的なドメイン固有言語（DSL）を提案する。
– このDSLでのプログラムの自動学習に、新しい合成アルゴリズムを利用することで、ユーザーのデモンストレーションから学習できる。
– 提案手法を「ImageEye」というツールに実装し、50の画像編集タスクで評価した。評価結果は、ImageEyeがこれらのタスクの96％を自動化できることを示している。

要約(オリジナル)

This paper presents a new synthesis-based approach for batch image processing. Unlike existing tools that can only apply global edits to the entire image, our method can apply fine-grained edits to individual objects within the image. For example, our method can selectively blur or crop specific objects that have a certain property. To facilitate such fine-grained image editing tasks, we propose a neuro-symbolic domain-specific language (DSL) that combines pre-trained neural networks for image classification with other language constructs that enable symbolic reasoning. Our method can automatically learn programs in this DSL from user demonstrations by utilizing a novel synthesis algorithm. We have implemented the proposed technique in a tool called ImageEye and evaluated it on 50 image editing tasks. Our evaluation shows that ImageEye is able to automate 96% of these tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI