Automatic Layout Planning for Visually-Rich Documents with Instruction-Following Models

要約

命令追従モデルの最近の進歩により、ユーザーとモデルの対話がよりユーザーフレンドリーかつ効率的になり、適用範囲が広がりました。
グラフィック デザインでは、専門家以外のユーザーは、スキルやリソースが限られているため、視覚的に魅力的なレイアウトを作成するのに苦労することがよくあります。
この研究では、レイアウト計画のための新しいマルチモーダルな指示に従うフレームワークを導入します。これにより、ユーザーは、本の表紙、ポスター、パンフレット、メニューなどのキャンバス サイズとデザイン目的を指定することで、視覚要素をカスタマイズしたレイアウトに簡単に配置できるようになります。
レイアウト命令を理解して実行するモデルをトレーニングするために、3 つのレイアウト推論タスクを開発しました。
2 つのベンチマークでの実験では、私たちの方法が非専門家向けの設計プロセスを簡素化するだけでなく、Crello で mIoU が 12% 高く、数ショット GPT-4V モデルのパフォーマンスを上回ることがわかりました。
この進歩は、設計プロセスを自動化および簡素化するマルチモーダル命令追従モデルの可能性を浮き彫りにし、視覚的に豊富なドキュメント上の幅広い設計タスクに親しみやすいソリューションを提供します。

要約(オリジナル)

Recent advancements in instruction-following models have made user interactions with models more user-friendly and efficient, broadening their applicability. In graphic design, non-professional users often struggle to create visually appealing layouts due to limited skills and resources. In this work, we introduce a novel multimodal instruction-following framework for layout planning, allowing users to easily arrange visual elements into tailored layouts by specifying canvas size and design purpose, such as for book covers, posters, brochures, or menus. We developed three layout reasoning tasks to train the model in understanding and executing layout instructions. Experiments on two benchmarks show that our method not only simplifies the design process for non-professionals but also surpasses the performance of few-shot GPT-4V models, with mIoU higher by 12% on Crello. This progress highlights the potential of multimodal instruction-following models to automate and simplify the design process, providing an approachable solution for a wide range of design tasks on visually-rich documents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google