Controllable GUI Exploration

要約

インターフェイス設計の初期段階では、デザイナーはデザインスペースを探索するために複数のスケッチを作成する必要があります。
デザインツールは、必要以上に詳細を指定することを主張するため、この重要な段階をサポートできないことがよくあります。
生成AIの最近の進歩は、この問題を解決するという希望を高めていますが、実際には、プロンプトでゆるいアイデアを表現することは非現実的であるため失敗します。
この論文では、インターフェイスのスケッチの低い生成に対する拡散ベースのアプローチを提案します。
3種類の入力を介して生成プロセスの柔軟な制御を許可することにより、新境地を破ります：a）プロンプト、b）ワイヤーフレーム、およびc）視覚フロー。
デザイナーは、これらの任意の組み合わせを任意のレベルの詳細で入力として提供することができ、それに応じて低忠実度ソリューションの多様なギャラリーを入手できます。
ユニークな利点は、入力仕様の努力がほとんどなく、大規模なデザインスペースを迅速に調査できることです。
入力仕様のさまざまな組み合わせについて定性的な結果を提示します。
さらに、モデルが他のモデルよりもこれらの仕様とより正確に整合することを示します。

要約(オリジナル)

During the early stages of interface design, designers need to produce multiple sketches to explore a design space. Design tools often fail to support this critical stage, because they insist on specifying more details than necessary. Although recent advances in generative AI have raised hopes of solving this issue, in practice they fail because expressing loose ideas in a prompt is impractical. In this paper, we propose a diffusion-based approach to the low-effort generation of interface sketches. It breaks new ground by allowing flexible control of the generation process via three types of inputs: A) prompts, B) wireframes, and C) visual flows. The designer can provide any combination of these as input at any level of detail, and will get a diverse gallery of low-fidelity solutions in response. The unique benefit is that large design spaces can be explored rapidly with very little effort in input-specification. We present qualitative results for various combinations of input specifications. Additionally, we demonstrate that our model aligns more accurately with these specifications than other models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google