要約
アプリ開発者は、他のアプリのグラフィカル・ユーザー・インターフェース（GUI）を、自身のアプリを設計・改善するためのインスピレーションの源として利用している。そのため、最近の研究では、クラウドソーシングやGUIの自動探索によって取得されたスクリーンショットデータセットから、特定のテキストクエリに一致する関連するGUIデザインを検索することが提案されている。しかし、このようなテキストからGUIへの検索アプローチは、GUI要素のテキスト情報のみを活用し、アイコンや背景画像などの視覚情報を無視している。さらに、検索されたスクリーンショットはアプリ開発者によって指示されたものではなく、特定の入力データを必要とする重要なアプリ機能が欠けていることが多い。 これらの限界を克服するために、本稿では、アプリのGUI設計の問題のために特別に学習させたGUIClipと呼ばれる視覚言語モデルに基づくGUI検索エンジンGUingを提案する。このために、我々はまずGoogle Playのアプリ紹介画像から、通常最も代表的なスクリーンショットが表示され、アプリベンダーによってキャプション（すなわち～ラベル）が付けられることが多い画像を収集した。そして、これらの画像からキャプションを分類、切り抜き、抽出する自動化パイプラインを開発した。その結果、303kのアプリのスクリーンショットを含む大規模なデータセットができあがりました。我々はこのデータセットを用いて、GUI検索において我々の知る限り初めての、新しい視覚言語モデルを学習した。我々は、関連研究からの様々なデータセットと手動実験により、我々のアプローチを評価した。その結果、我々のモデルはテキストからGUIへの検索において、最大0.69のRecall@10と0.91のHIT@10を達成し、従来のアプローチを凌駕することを実証した。また、GUIの分類やスケッチからGUIへの検索を含む他のGUIタスクに対するGUIClipの性能も調査し、有望な結果を得た。
要約(オリジナル)
App developers use the Graphical User Interface (GUI) of other apps as a source of inspiration for designing and improving their own apps. Recent research has thus suggested retrieving relevant GUI designs that match a certain text query from screenshot datasets acquired through crowdsourced or automated exploration of GUIs. However, such text-to-GUI retrieval approaches only leverage the textual information of the GUI elements, neglecting visual information such as icons or background images. In addition, retrieved screenshots are not steered by app developers and often lack important app features that require particular input data. To overcome these limitations, this paper proposes GUing, a GUI search engine based on a vision-language model called GUIClip, which we trained specifically for the problem of designing app GUIs. For this, we first collected from Google Play app introduction images which usually display the most representative screenshots and are often captioned (i.e.~labeled) by app vendors. Then, we developed an automated pipeline to classify, crop, and extract the captions from these images. This resulted in a large dataset which we share with this paper: including 303k app screenshots, out of which 135k have captions. We used this dataset to train a novel vision-language model, which is, to the best of our knowledge, the first of its kind in GUI retrieval. We evaluated our approach on various datasets from related work and in manual experiment. The results demonstrate that our model outperforms previous approaches in text-to-GUI retrieval achieving a Recall@10 of up to 0.69 and a HIT@10 of 0.91. We also explored the performance of GUIClip for other GUI tasks including GUI classification and sketch-to-GUI retrieval with encouraging results.
arxiv情報
| 著者 | Jialiang Wei,Anne-Lise Courbis,Thomas Lambolais,Binbin Xu,Pierre Louis Bernard,Gérard Dray,Walid Maalej |
| 発行日 | 2024-09-02 14:24:55+00:00 |
| arxivサイト | arxiv_id(pdf) |