Responsible Task Automation: Empowering Large Language Models as Responsible Task Automators

要約

最近の大規模言語モデル（LLM）の成功は、人工的な一般知能に向けた印象的な前進を意味する。LLMは、ユーザーの指示に応じてタスクを自動的に完了させ、脳のような調整役として機能する有望な見通しを示している。しかし、今後ますます多くのタスクが機械に委ねられ、自動化されていく中で、それに伴うリスクも明らかになっていくだろう。人間の個人的なコパイロットとしてタスクの自動化を支援する際に、機械にどのように責任ある行動を取らせることができるのか、という大きな疑問が浮かび上がってくる。本論文では、実現可能性、完全性、セキュリティの観点からこの問題を深く掘り下げていく。具体的には、タスク自動化のためのLLMベースのコーディネータと実行者間の責任ある協力を促進する基本的なフレームワークとして、3つの能力を持つ責任あるタスク自動化（Responsible Task Automation: ResponsibleTA）を提示する：1)実行者に対するコマンドの実行可能性の予測、2)実行者の完全性の検証、3)セキュリティの強化（ユーザーのプライバシーの保護など）である。さらに、最初の2つの機能を実装するための2つのパラダイムを提案し、比較する。1つは、プロンプトエンジニアリングによってLLM自身の一般的な知識を活用することであり、もう1つは、ドメイン固有の学習可能なモデルを採用することである。さらに、3つ目の能力を実現するために、ローカルメモリメカニズムを導入する。我々の提案するResponsibleTAをUIタスクの自動化で評価し、LLMが多様なシナリオでより責任を持つことを保証するために、より多くの注目を集めることを期待している。

要約(オリジナル)

The recent success of Large Language Models (LLMs) signifies an impressive stride towards artificial general intelligence. They have shown a promising prospect in automatically completing tasks upon user instructions, functioning as brain-like coordinators. The associated risks will be revealed as we delegate an increasing number of tasks to machines for automated completion. A big question emerges: how can we make machines behave responsibly when helping humans automate tasks as personal copilots? In this paper, we explore this question in depth from the perspectives of feasibility, completeness and security. In specific, we present Responsible Task Automation (ResponsibleTA) as a fundamental framework to facilitate responsible collaboration between LLM-based coordinators and executors for task automation with three empowered capabilities: 1) predicting the feasibility of the commands for executors; 2) verifying the completeness of executors; 3) enhancing the security (e.g., the protection of users’ privacy). We further propose and compare two paradigms for implementing the first two capabilities. One is to leverage the generic knowledge of LLMs themselves via prompt engineering while the other is to adopt domain-specific learnable models. Moreover, we introduce a local memory mechanism for achieving the third capability. We evaluate our proposed ResponsibleTA on UI task automation and hope it could bring more attentions to ensuring LLMs more responsible in diverse scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL