Natural Language Decomposition and Interpretation of Complex Utterances

要約

自然言語インターフェイスでは、ユーザーのリクエストをプログラム、データベース クエリ、またはその他の構造化された意図の表現に変換するために、教師付きデータが必要になることがよくあります。
データ収集中に、ユーザーのニーズをすべて予測して形式化することは困難な場合があります。たとえば、単純なリクエスト ($\textit{明日の会議を探す}$ や $\textit{移動するなど) を処理するように設計されたシステムでは、
マネージャと正午まで会議する})$ に加えて、ユーザーはより複雑な要求を表現することもできます ($\textit{月曜日と火曜日の電話をすべて交換する}$ など)。
階層的な自然言語分解のプロセスを通じて複雑な発話を処理するための単純な言語からコードへのモデルを装備するアプローチを紹介します。
私たちのアプローチでは、事前にトレーニングされた言語モデルを使用して、複雑な発話を一連の小さな自然言語ステップに分解し、言語からコードへのモデルを使用して各ステップを解釈します。
私たちのアプローチをテストするために、複雑な発話の分解を評価するための新しい NL からプログラムへのベンチマークである DeCU を収集してリリースします。
実験によると、提案されたアプローチは、複雑なトレーニング データをほとんど使用せずに複雑な発話の解釈を可能にし、標準的な数発のプロンプト アプローチよりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

Natural language interfaces often require supervised data to translate user requests into programs, database queries, or other structured intent representations. During data collection, it can be difficult to anticipate and formalize the full range of user needs — for example, in a system designed to handle simple requests (like $\textit{find my meetings tomorrow}$ or $\textit{move my meeting with my manager to noon})$, users may also express more elaborate requests (like $\textit{swap all my calls on Monday and Tuesday}$). We introduce an approach for equipping a simple language-to-code model to handle complex utterances via a process of hierarchical natural language decomposition. Our approach uses a pre-trained language model to decompose a complex utterance into a sequence of smaller natural language steps, then interprets each step using the language-to-code model. To test our approach, we collect and release DeCU — a new NL-to-program benchmark to evaluate Decomposition of Complex Utterances. Experiments show that the proposed approach enables the interpretation of complex utterances with almost no complex training data, while outperforming standard few-shot prompting approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google