Improving Knowledge Extraction from LLMs for Task Learning through Agent Analysis

要約

大規模言語モデル (LLM) は、タスク学習の知識源として大きな期待をもたらします。
迅速なエンジニアリングは、LLM から知識を引き出すのに効果的であることが示されていますが、それだけでは、新しいタスクを学習する具体化されたエージェントに関連する、状況に基づいた知識を獲得するには不十分です。
我々は、プロンプトエンジニアリングを拡張および補完するコグニティブエージェントアプローチであるSTARSについて説明します。STARSは、プロンプトエンジニアリングを拡張および補完し、その制限を軽減し、エージェントが母国語の能力、実施形態、環境、およびユーザーの好みに適合した新しいタスク知識を獲得できるようにします。
STARS のアプローチは、LLM の応答空間を増やし、自律エージェント内に組み込まれた一般的な戦略を展開して、LLM によって生成された候補応答を評価、修復、選択することです。
エージェントが LLM からの幅広い応答を取得して評価することで、ユーザーの監視なしでワンショット学習で 77 ～ 94% のタスク完了を達成できる方法を示すアプローチと実験について説明します。
このアプローチでは、人間による監視 (好みの指示など) が提供される場合、タスクの 100% の完了が達成されます。
さらに、監視の種類は、明示的な自然言語による指示から、ユーザーに提示する前にエージェントによって精査された高品質な応答の単純な確認/不承認に大きく移行しています。

要約(オリジナル)

Large language models (LLMs) offer significant promise as a knowledge source for task learning. Prompt engineering has been shown to be effective for eliciting knowledge from an LLM, but alone it is insufficient for acquiring relevant, situationally grounded knowledge for an embodied agent learning novel tasks. We describe a cognitive-agent approach, STARS, that extends and complements prompt engineering, mitigating its limitations and thus enabling an agent to acquire new task knowledge matched to its native language capabilities, embodiment, environment, and user preferences. The STARS approach is to increase the response space of LLMs and deploy general strategies, embedded within the autonomous agent, to evaluate, repair, and select among candidate responses produced by the LLM. We describe the approach and experiments that show how an agent, by retrieving and evaluating a breadth of responses from the LLM, can achieve 77-94% task completion in one-shot learning without user oversight. The approach achieves 100% task completion when human oversight (such as an indication of preference) is provided. Further, the type of oversight largely shifts from explicit, natural language instruction to simple confirmation/discomfirmation of high-quality responses that have been vetted by the agent before presentation to a user.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google