SHAPE-IT: Exploring Text-to-Shape-Display for Generative Shape-Changing Behaviors with LLMs

要約

この論文では、自然言語コマンドを通じてピンベースの形状表示で動的な形状変化を生成する新しいアプローチである text-to-shape-display を紹介します。
大規模言語モデル (LLM) と AI チェーンを活用することで、ユーザーはプログラミングを行わずに、テキスト プロンプトを通じてオンデマンドで形状を変更する動作を作成できるようになります。
形成的探索と反復的な設計プロセスに基づいて、主要な生成要素 (プリミティブ、アニメーション、およびインタラクション) の特定やユーザー インタラクションを強化するための設計要件など、そのようなシステムに必要な基本的な側面について説明します。
これらの洞察に基づいて、私たちは 24 x 24 形状ディスプレイ用の LLM ベースのオーサリング ツールである SHAPE-IT を開発しました。これは、ユーザーのテキスト コマンドを実行可能コードに変換し、Web ベースの制御インターフェイスを介した迅速な探索を可能にします。
SHAPE-IT の有効性を、1) パフォーマンス評価、2) ユーザー評価の 2 つの方法で評価します (N= 10)。
研究の結論は、AI を使用すると、形状を変化させるさまざまな動作の迅速なアイデア出しを容易にする能力を強調しています。
ただし、この調査結果は精度関連の課題と限界も明らかにしており、形状変化システムの固有の要件にさらに適合するように AI を活用するためのフレームワークを改良するさらなる検討を促しています。

要約(オリジナル)

This paper introduces text-to-shape-display, a novel approach to generating dynamic shape changes in pin-based shape displays through natural language commands. By leveraging large language models (LLMs) and AI-chaining, our approach allows users to author shape-changing behaviors on demand through text prompts without programming. We describe the foundational aspects necessary for such a system, including the identification of key generative elements (primitive, animation, and interaction) and design requirements to enhance user interaction, based on formative exploration and iterative design processes. Based on these insights, we develop SHAPE-IT, an LLM-based authoring tool for a 24 x 24 shape display, which translates the user’s textual command into executable code and allows for quick exploration through a web-based control interface. We evaluate the effectiveness of SHAPE-IT in two ways: 1) performance evaluation and 2) user evaluation (N= 10). The study conclusions highlight the ability to facilitate rapid ideation of a wide range of shape-changing behaviors with AI. However, the findings also expose accuracy-related challenges and limitations, prompting further exploration into refining the framework for leveraging AI to better suit the unique requirements of shape-changing systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google