‘Get ready for a party’: Exploring smarter smart spaces with help from large language models

要約

「パーティーの準備をしてください」という人への正しい反応は、意味と文脈に大きく影響されます。
スマート ホーム アシスタント (Google Home など) の場合、理想的な対応は、家庭内で利用可能なデバイスを調査し、その状態を変更してお祝いの雰囲気を作り出すことです。
現在の実用的なシステムは、(1) 抽象的なステートメントの背後にある意味を推測し、(2) その推測をコンテキストに適した具体的な行動方針にマッピングする (たとえば、特定のデバイスの設定を変更する) 能力を必要とするため、このような要求に対応することはできません。
このホワイト ペーパーでは、GPT-3 のような最近のタスクに依存しない大規模言語モデル (LLM) が、既存のルールベースのホーム アシスタント システムに欠けている膨大な量のクロスドメインの、時には予測不可能なコンテキスト知識を具現化しているという観察を活用します。
ユーザーの意図を推測し、スマート ホームの対話中に適切なコンテキスト依存の応答を生成するための強力なツール。
最初に、LLM をコマンド推論と行動計画の中心に置くシステムの実現可能性を調査し、LLM が「パーティーの準備をしてください」などの漠然としたコンテキスト依存のコマンドの背後にある意図を推論し、具体的に応答する能力があることを示します。
、スマート デバイスの制御に使用できる機械解析可能な命令。
さらに、LLM が実際のデバイスを制御する概念実証の実装を示し、意図を推測し、微調整やタスク固有のトレーニングなしでデバイスの状態を適切に変更する能力を示します。
私たちの研究は、スマート環境におけるコンテキスト認識のための LLM 駆動型システムの可能性を示唆しており、この分野の将来の研究の動機となっています。

要約(オリジナル)

The right response to someone who says ‘get ready for a party’ is deeply influenced by meaning and context. For a smart home assistant (e.g., Google Home), the ideal response might be to survey the available devices in the home and change their state to create a festive atmosphere. Current practical systems cannot service such requests since they require the ability to (1) infer meaning behind an abstract statement and (2) map that inference to a concrete course of action appropriate for the context (e.g., changing the settings of specific devices). In this paper, we leverage the observation that recent task-agnostic large language models (LLMs) like GPT-3 embody a vast amount of cross-domain, sometimes unpredictable contextual knowledge that existing rule-based home assistant systems lack, which can make them powerful tools for inferring user intent and generating appropriate context-dependent responses during smart home interactions. We first explore the feasibility of a system that places an LLM at the center of command inference and action planning, showing that LLMs have the capacity to infer intent behind vague, context-dependent commands like ‘get ready for a party’ and respond with concrete, machine-parseable instructions that can be used to control smart devices. We furthermore demonstrate a proof-of-concept implementation that puts an LLM in control of real devices, showing its ability to infer intent and change device state appropriately with no fine-tuning or task-specific training. Our work hints at the promise of LLM-driven systems for context-awareness in smart environments, motivating future research in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google