SAGE: Smart home Agent with Grounded Execution

要約

大規模言語モデル (LLM) に関する常識的な推論能力と広範な一般知識により、LLM はスマート ホーム アシスタントのコンテキストでユーザー リクエストを解釈するのに自然に適合します。
ただし、LLM にはユーザーとその家に関する具体的な知識が不足しており、潜在的な影響が制限されます。
SAGE (Grounded Execution を備えたスマート ホーム エージェント) は、ユーザー要求が LLM 制御の一連の個別アクションをトリガーするスキームを使用することで、これらおよびその他の制限を克服します。
これらのアクションは、情報の取得、ユーザーとの対話、デバイスの状態の操作に使用できます。
SAGE は、動的に構築された LLM プロンプトのツリーを通じてこのプロセスを制御します。これは、次にどのアクションを実行するか、アクションが成功したかどうか、いつプロセスを終了するかを決定するのに役立ちます。
SAGE アクション セットは、スマート ホーム アシスタントの最も重要な要件のいくつかをサポートするために LLM の機能を強化します。
これらには、柔軟でスケーラブルなユーザー設定管理 (「私のチームは今夜プレーしますか?」)、「乾燥機の画面の明るさを下げて」という API 読み取りによるデバイス固有のコードなしでスマート デバイスの全機能へのアクセス、永続的なデバイス状態の監視が含まれます。
(「冷蔵庫を開けるときに牛乳を捨てるようにリマインドする」)、部屋の写真のみを使用した自然なデバイスの参照 (「ドレッサーの電気を付ける」) など。
SAGE が 75% の成功率を達成し、既存の LLM 対応ベースライン (成功率 30%) を大幅に上回る 50 の新しくて挑戦的なスマート ホーム タスクのベンチマークを紹介します。

要約(オリジナル)

The common sense reasoning abilities and vast general knowledge of Large Language Models (LLMs) make them a natural fit for interpreting user requests in a Smart Home assistant context. LLMs, however, lack specific knowledge about the user and their home limit their potential impact. SAGE (Smart Home Agent with Grounded Execution), overcomes these and other limitations by using a scheme in which a user request triggers an LLM-controlled sequence of discrete actions. These actions can be used to retrieve information, interact with the user, or manipulate device states. SAGE controls this process through a dynamically constructed tree of LLM prompts, which help it decide which action to take next, whether an action was successful, and when to terminate the process. The SAGE action set augments an LLM’s capabilities to support some of the most critical requirements for a Smart Home assistant. These include: flexible and scalable user preference management (‘is my team playing tonight?’), access to any smart device’s full functionality without device-specific code via API reading ‘turn down the screen brightness on my dryer’, persistent device state monitoring (‘remind me to throw out the milk when I open the fridge’), natural device references using only a photo of the room (‘turn on the light on the dresser’), and more. We introduce a benchmark of 50 new and challenging smart home tasks where SAGE achieves a 75% success rate, significantly outperforming existing LLM-enabled baselines (30% success rate).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google