FigGen: Text to Scientific Figure Generation

要約

ジェネレーティブ モデリングの状況は、近年、特に自然の画像やアートの生成において大幅な成長を遂げています。
最近の技術は、印象的なリアリズムと品質を実現しながら、複雑な視覚的構成を作成するという素晴らしい可能性を示しています。
ただし、最先端の方法は自然画像の狭い領域に焦点を当てており、他の分布は未調査のままです。
この論文では、テキストの記述から論文の科学的な図を作成するテキストから図への生成の問題を紹介します。
我々は、テキストから図への拡散ベースのアプローチである FigGen と、提案されたタスクの主な課題を紹介します。
コードとモデルは https://github.com/joanrod/figure-diffusion で入手できます。

要約(オリジナル)

The generative modeling landscape has experienced tremendous growth in recent years, particularly in generating natural images and art. Recent techniques have shown impressive potential in creating complex visual compositions while delivering impressive realism and quality. However, state-of-the-art methods have been focusing on the narrow domain of natural images, while other distributions remain unexplored. In this paper, we introduce the problem of text-to-figure generation, that is creating scientific figures of papers from text descriptions. We present FigGen, a diffusion-based approach for text-to-figure as well as the main challenges of the proposed task. Code and models are available at https://github.com/joanrod/figure-diffusion

arxiv情報

提供元, 利用サービス

arxiv.jp, Google