Jigsaw: Supporting Designers in Prototyping Multimodal Applications by Assembling AI Foundation Models

要約

AI 基盤モデルの最近の進歩により、デザイン コンセプトの考案やビジュアル プロトタイプの生成など、創造的なタスクに既製のモデルを利用できるようになりました。
ただし、これらのモデルは特定のタスクに合わせて調整されたスタンドアロン アプリケーションとして存在することが多いため、創造的なプロセスに統合するのは困難な場合があります。
この課題に対処するために、基礎モデルを表すメタファーとしてパズルのピースを使用するプロトタイプ システムである Jigsaw を紹介します。
ジグソーを使用すると、設計者は、互換性のあるパズルのピースを組み立てることによって、さまざまなモダリティにわたるさまざまな基礎モデルの機能を組み合わせることができます。
Jigsaw のデザインを伝えるために、私たちは 10 人のデザイナーにインタビューし、デザインの目標を抽出しました。
ユーザー調査では、Jigsaw が利用可能な基礎モデルの機能に対する設計者の理解を強化し、さまざまなモダリティやタスクにわたって機能を組み合わせる際のガイダンスを提供し、設計の探索、プロトタイピング、および文書化をサポートするキャンバスとして機能することを示しました。

要約(オリジナル)

Recent advancements in AI foundation models have made it possible for them to be utilized off-the-shelf for creative tasks, including ideating design concepts or generating visual prototypes. However, integrating these models into the creative process can be challenging as they often exist as standalone applications tailored to specific tasks. To address this challenge, we introduce Jigsaw, a prototype system that employs puzzle pieces as metaphors to represent foundation models. Jigsaw allows designers to combine different foundation model capabilities across various modalities by assembling compatible puzzle pieces. To inform the design of Jigsaw, we interviewed ten designers and distilled design goals. In a user study, we showed that Jigsaw enhanced designers’ understanding of available foundation model capabilities, provided guidance on combining capabilities across different modalities and tasks, and served as a canvas to support design exploration, prototyping, and documentation.

arxiv情報

著者 David Chuan-En Lin,Nikolas Martelaro
発行日 2023-10-12 17:57:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.HC, cs.LG パーマリンク