Interpreting User Requests in the Context of Natural Language Standing Instructions

要約

一般にラージ言語モデル (LLM) を利用した自然言語インターフェイスのユーザーは、多くの場合、同様のリクエストを行うたびに自分の設定を繰り返す必要があります。
これを軽減するために、ユーザーの好みや指示の一部を自然言語で含めることを提案します (総称して常駐指示と呼ばれます)。
たとえば、ユーザーがお腹が空いたと言うと、以前に表明したペルシャ料理の好みが LLM プロンプトに自動的に追加され、関連するレストランの検索に影響を与えます。
私たちは、17 のドメインにまたがる 2.4K を超えるダイアログで構成される言語からプログラムへのデータセットである NLSI を開発しています。各ダイアログは、ユーザー プロファイル (ユーザー固有の定常指示のセット) および対応する構造化表現 (API 呼び出し) とペアになっています。
NLSI における重要な課題は、定常命令のどのサブセットが特定のダイアログに適用できるかを特定することです。
NLSI には、単純な設定から、ユーザーがイベントのチケットを予約するたびにホテル検索をトリガーするなどの相互依存する命令まで、さまざまな現象が含まれています。
私たちは、大規模な言語モデルとさまざまな検索アプローチによるプロンプトを使用して NLSI の実験を実施し、API 予測で最大 44.7% の完全一致を達成しました。
私たちの結果は、関連する常駐命令を特定し、その命令を API 呼び出しに解釈する際の課題を示しています。

要約(オリジナル)

Users of natural language interfaces, generally powered by Large Language Models (LLMs),often must repeat their preferences each time they make a similar request. To alleviate this, we propose including some of a user’s preferences and instructions in natural language — collectively termed standing instructions — as additional context for such interfaces. For example, when a user states I’m hungry, their previously expressed preference for Persian food will be automatically added to the LLM prompt, so as to influence the search for relevant restaurants. We develop NLSI, a language-to-program dataset consisting of over 2.4K dialogues spanning 17 domains, where each dialogue is paired with a user profile (a set of users specific standing instructions) and corresponding structured representations (API calls). A key challenge in NLSI is to identify which subset of the standing instructions is applicable to a given dialogue. NLSI contains diverse phenomena, from simple preferences to interdependent instructions such as triggering a hotel search whenever the user is booking tickets to an event. We conduct experiments on NLSI using prompting with large language models and various retrieval approaches, achieving a maximum of 44.7% exact match on API prediction. Our results demonstrate the challenges in identifying the relevant standing instructions and their interpretation into API calls.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google