Exploring Mobile Touch Interaction with Large Language Models

要約

現在、モバイルデバイスでテキスト編集のために大規模な言語モデル（LLM）と対話するには、ユーザーがライティング環境から抜け出し、会話型AIインターフェイスに切り替える必要があります。
この論文では、テキストで直接実行されたタッチジェスチャーを介してLLMを制御することを提案します。
最初に、基本的なタッチ入力とテキスト変換をカバーする設計スペースをチャートします。
このスペースでは、視覚的なフィードバックループを使用して、2つの制御マッピングを具体的に調査します。
この概念は、3つのフィードバックデザインを比較するユーザー調査（n = 14）で評価します。視覚化なし、テキストの長さのインジケーター、長さ +ワードインジケーターです。
結果は、LLMSのタッチベースの制御が実行可能かつユーザーフレンドリーであり、長さ +ワードインジケーターがテキスト生成の管理に最も効果的であることを証明することを示しています。
この作業は、タッチデバイス上のLLMとのジェスチャーベースの相互作用をさらに研究するための基盤を築きます。

要約(オリジナル)

Interacting with Large Language Models (LLMs) for text editing on mobile devices currently requires users to break out of their writing environment and switch to a conversational AI interface. In this paper, we propose to control the LLM via touch gestures performed directly on the text. We first chart a design space that covers fundamental touch input and text transformations. In this space, we then concretely explore two control mappings: spread-to-generate and pinch-to-shorten, with visual feedback loops. We evaluate this concept in a user study (N=14) that compares three feedback designs: no visualisation, text length indicator, and length + word indicator. The results demonstrate that touch-based control of LLMs is both feasible and user-friendly, with the length + word indicator proving most effective for managing text generation. This work lays the foundation for further research into gesture-based interaction with LLMs on touch devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google