Natural Language Decomposition and Interpretation of Complex Utterances

要約

自然言語インターフェイスを設計するには、これまで、ユーザーのリクエストを慎重に設計された意図表現に変換するために教師付きデータを収集する必要がありました。
これには、ユーザーリクエストのロングテールを列挙してラベルを付ける必要がありますが、これは困難です。
同時に、大規模言語モデル (LLM) は、目標と計画に関する知識をエンコードし、会話アシスタントが完了するまでに多くの手順を必要とするユーザー要求を解釈するのに役立ちます。
階層的な自然言語の分解と解釈のプロセスを通じて、ユーザーからの複雑な意図を伴う発話を処理するアプローチを紹介します。
私たちのアプローチでは、事前にトレーニングされた言語モデルを使用して、複雑な発話を一連の単純な自然言語ステップに分解し、インターフェイス用に設計された言語からプログラムへのモデルを使用して各ステップを解釈します。
私たちのアプローチをテストするために、複雑な発話の分解を評価するための新しい NL からプログラムへのベンチマークである DeCU を収集してリリースします。
実験によると、提案されたアプローチは、複雑なトレーニング データをほとんど使用せずに複雑な発話の解釈を可能にし、標準的な数発のプロンプト アプローチよりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

Designing natural language interfaces has historically required collecting supervised data to translate user requests into carefully designed intent representations. This requires enumerating and labeling a long tail of user requests, which is challenging. At the same time, large language models (LLMs) encode knowledge about goals and plans that can help conversational assistants interpret user requests requiring numerous steps to complete. We introduce an approach to handle complex-intent-bearing utterances from a user via a process of hierarchical natural language decomposition and interpretation. Our approach uses a pre-trained language model to decompose a complex utterance into a sequence of simpler natural language steps and interprets each step using the language-to-program model designed for the interface. To test our approach, we collect and release DeCU — a new NL-to-program benchmark to evaluate Decomposition of Complex Utterances. Experiments show that the proposed approach enables the interpretation of complex utterances with almost no complex training data, while outperforming standard few-shot prompting approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google