MMC: Multi-Modal Colorization of Images using Textual Descriptions

要約

タイトル：テキスト説明を用いた画像のマルチモーダルカラーリング（MMC）

要約：

– 画像カラーリングにおいて、異なる色のオブジェクトを扱うことは大きな課題である。
– 現存の画像カラーリングアルゴリズムは、複雑な現実世界のシーンにおいて、より高いカラーの一貫性を維持することができない。
– 本研究では、グレースケール画像に加えて、補助条件としてテキスト説明を統合し、カラーリングプロセスの正確性を向上させることを試みている。
– 提案されたディープネットワークは、2つの入力（グレースケール画像とコード化されたテキスト説明）を受け取り、関連する色成分を予測しようとする。
– また、画像内の各オブジェクトを予測し、それらの個々の説明を用いてカラーリングすることで、カラーリングプロセスに彼らの特定の属性を組み込みます。
– その後、融合モデルがすべての画像オブジェクト（セグメント）を融合し、最終的なカラーリング画像を生成します。
– 各テキスト説明には、画像内に存在するオブジェクトの色情報が含まれているため、テキストエンコーディングは予測された色の全体的な品質を向上させるのに役立ちます。
– 性能面では、提案された方法はLPIPS、PSNR、SSIMメトリックにおいて、現存するカラーリング手法を上回る。

要約(オリジナル)

Handling various objects with different colors is a significant challenge for image colorization techniques. Thus, for complex real-world scenes, the existing image colorization algorithms often fail to maintain color consistency. In this work, we attempt to integrate textual descriptions as an auxiliary condition, along with the grayscale image that is to be colorized, to improve the fidelity of the colorization process. To do so, we have proposed a deep network that takes two inputs (grayscale image and the respective encoded text description) and tries to predict the relevant color components. Also, we have predicted each object in the image and have colorized them with their individual description to incorporate their specific attributes in the colorization process. After that, a fusion model fuses all the image objects (segments) to generate the final colorized image. As the respective textual descriptions contain color information of the objects present in the image, text encoding helps to improve the overall quality of predicted colors. In terms of performance, the proposed method outperforms existing colorization techniques in terms of LPIPS, PSNR and SSIM metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI