Action-based image editing guided by human instructions

要約

テキストベースの画像編集は、通常、人間の指示に基づいて入力画像の要素を挿入、削除、修正するといった操作を含む静的なタスクとしてアプローチされている。本稿では、この静的なタスクの性質を考慮し、アクションを取り入れることで、このタスクを動的なものにすることを目指す。これにより、オブジェクトの視覚的特性を維持しながら、画像内のオブジェクトの位置や姿勢を変更し、異なるアクションを描写することを意図している。この困難なタスクを実現するために、対照的なアクションの不一致を認識する学習により、アクションテキストの指示に敏感な新しいモデルを提案する。モデルの学習は、アクションの前後の視覚的シーンを示すフレームを動画から抽出することで定義される新しいデータセットを用いて行われる。アクションに基づくテキスト指示を用いた画像編集の大幅な改善と、本モデルが入力画像をアクションの開始シーンとして使用する一方で、アクションの最終シーンを示す新たな画像を生成することを可能にする高い推論能力を示す。

要約(オリジナル)

Text-based image editing is typically approached as a static task that involves operations such as inserting, deleting, or modifying elements of an input image based on human instructions. Given the static nature of this task, in this paper, we aim to make this task dynamic by incorporating actions. By doing this, we intend to modify the positions or postures of objects in the image to depict different actions while maintaining the visual properties of the objects. To implement this challenging task, we propose a new model that is sensitive to action text instructions by learning to recognize contrastive action discrepancies. The model training is done on new datasets defined by extracting frames from videos that show the visual scenes before and after an action. We show substantial improvements in image editing using action-based text instructions and high reasoning capabilities that allow our model to use the input image as a starting scene for an action while generating a new image that shows the final scene of the action.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL