Turn Every Application into an Agent: Towards Efficient Human-Agent-Computer Interaction with API-First LLM-Based Agents

要約

マルチモーダル大規模言語モデル (MLLM) により、LLM ベースのエージェントがアプリケーション ユーザー インターフェイス (UI) と直接対話できるようになり、複雑なタスクにおけるエージェントのパフォーマンスが向上しました。
ただし、これらのエージェントは、広範な連続的な UI インタラクションにより、待ち時間が長く、信頼性が低いという問題が発生することがよくあります。
この問題に対処するために、UI アクションよりもアプリケーション プログラミング インターフェイス (API) を介したアクションを優先する新しい LLM ベースのエージェント フレームワークである AXIS を提案します。
このフレームワークは、アプリケーションの自動探索を通じて API の作成と拡張も容易にします。
Office Word での実験では、AXIS が人間と比較して 97% ～ 98% の精度を維持しながら、タスク完了時間を 65% ～ 70%、認知ワークロードを 38% ～ 53% 削減することが実証されました。
私たちの取り組みは、新しいヒューマン エージェント コンピューター インタラクション (HACI) フレームワークと、LLM 時代のアプリケーション プロバイダーのための新しい UI 設計原則に貢献します。
また、あらゆるアプリケーションをエージェントに変えて、エージェント中心のオペレーティング システム (エージェント OS) への道を開く可能性も検討しています。

要約(オリジナル)

Multimodal large language models (MLLMs) have enabled LLM-based agents to directly interact with application user interfaces (UIs), enhancing agents’ performance in complex tasks. However, these agents often suffer from high latency and low reliability due to the extensive sequential UI interactions. To address this issue, we propose AXIS, a novel LLM-based agents framework prioritize actions through application programming interfaces (APIs) over UI actions. This framework also facilitates the creation and expansion of APIs through automated exploration of applications. Our experiments on Office Word demonstrate that AXIS reduces task completion time by 65%-70% and cognitive workload by 38%-53%, while maintaining accuracy of 97%-98% compare to humans. Our work contributes to a new human-agent-computer interaction (HACI) framework and a fresh UI design principle for application providers in the era of LLMs. It also explores the possibility of turning every applications into agents, paving the way towards an agent-centric operating system (Agent OS).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google