Natural Language based Context Modeling and Reasoning for Ubiquitous Computing with Large Language Models: A Tutorial

要約

大規模言語モデル (LLM) は、コンテキスト認識をコンピューティング システムに導入してから 20 年後の 2018 年以来、驚異的に急増しています。
ユビキタス デバイス、ユーザー、社会の状況を考慮することにより、コンテキスト アウェア コンピューティングは、生活支援、位置ベースのソーシャル ネットワーク サービスなど、幅広い革新的なアプリケーションを可能にしました。
コンテキストを認識し、それに応じてアクションを決定するために、オントロジーやOWLなどのさまざまな人工知能テクノロジーがコンテキストのモデリングと推論の表現として採用されています。
最近、LLM の台頭とその自然言語理解および推論機能の向上により、自然言語を使用してコンテキストをモデル化し、ChatGPT や GPT-4 などの LLM と対話することでコンテキスト推論を実行することが可能になりました。
このチュートリアルでは、LLM がモデルの微調整を必要とせずにコンテキスト モデリングと推論を実行できるようにする、テキスト、プロンプト、および自律エージェント (AutoAgent) の使用法を示します。
私たちは関連分野の研究を整理して紹介し、このコンピューティング パラダイムを LLM 駆動の Context-aware Computing (LCaC) と名付けます。
LCaC パラダイムでは、ユーザーのリクエスト、データを読み取るセンサー、アクチュエーターへのコマンドはテキストとして表現されることになっています。
ユーザーのリクエストのテキストとセンサー データが与えられると、AutoAgent はプロンプトを表示することでコンテキストをモデル化し、コンテキスト推論のために LLM に送信します。
LLM はアクション プランを生成し、AutoAgent に応答します。AutoAgent は後でアクション プランに従い、コンテキスト認識を促進します。
コンセプトを証明するために、私たちは 2 つのショーケースを使用します。(1) アパートでの介護付きの移動式 Z アームの操作、および (2) コンテキストを認識し、パーソナライズされた方法で旅行を計画し、旅程をスケジュールします。

要約(オリジナル)

Large language models (LLMs) have become phenomenally surging, since 2018–two decades after introducing context-awareness into computing systems. Through taking into account the situations of ubiquitous devices, users and the societies, context-aware computing has enabled a wide spectrum of innovative applications, such as assisted living, location-based social network services and so on. To recognize contexts and make decisions for actions accordingly, various artificial intelligence technologies, such as Ontology and OWL, have been adopted as representations for context modeling and reasoning. Recently, with the rise of LLMs and their improved natural language understanding and reasoning capabilities, it has become feasible to model contexts using natural language and perform context reasoning by interacting with LLMs such as ChatGPT and GPT-4. In this tutorial, we demonstrate the use of texts, prompts, and autonomous agents (AutoAgents) that enable LLMs to perform context modeling and reasoning without requiring fine-tuning of the model. We organize and introduce works in the related field, and name this computing paradigm as the LLM-driven Context-aware Computing (LCaC). In the LCaC paradigm, users’ requests, sensors reading data, and the command to actuators are supposed to be represented as texts. Given the text of users’ request and sensor data, the AutoAgent models the context by prompting and sends to the LLM for context reasoning. LLM generates a plan of actions and responds to the AutoAgent, which later follows the action plan to foster context-awareness. To prove the concepts, we use two showcases–(1) operating a mobile z-arm in an apartment for assisted living, and (2) planning a trip and scheduling the itinerary in a context-aware and personalized manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google