Binding Language Models in Symbolic Languages

要約

エンド ツー エンドのニューラル アプローチは最近、パフォーマンスと使いやすさの両方で NLP タスクを支配していますが、解釈可能性と堅牢性に欠けています。
タスク入力をプログラムにマッピングするトレーニング不要のニューラル シンボリック フレームワークである Binder を提案します。これにより、(1) 言語モデル (LM) 機能の統合 API をプログラミング言語 (SQL、Python など) にバインドして拡張することができます。
(2) 実行中に API によって呼び出されるプログラム パーサーと基礎となるモデルの両方として LM を採用し、(3) コンテキスト内のいくつかの例の注釈のみを必要とします。
具体的には、GPT-3 Codex を LM として採用しています。
構文解析段階では、コンテキスト内の例がわずかしかないため、Codex は、元のプログラミング言語では応答できないタスク入力の部分を識別し、Codex に応答できない部分を解決するように促す API 呼び出しを正しく生成し、特定することができます。
元の文法と互換性を保ちながら、API 呼び出しを配置する場所。
実行段階では、API 呼び出しで適切なプロンプトが与えられた場合、Codex はさまざまな機能 (常識的な QA、情報抽出など) を実行できます。
Binder は、WikiTableQuestions および TabFact データセットで最先端の結果を達成し、人間によるデバッグに役立つ明示的な出力プログラムを提供します。
以前の最良のシステムはすべて、数万のタスク固有のサンプルで微調整されていますが、Binder は、トレーニングなしでコンテキスト内の例として数十の注釈のみを使用していることに注意してください。
コードは https://github.com/HKUNLP/Binder で入手できます。

要約(オリジナル)

Though end-to-end neural approaches have recently been dominating NLP tasks in both performance and ease-of-use, they lack interpretability and robustness. We propose Binder, a training-free neural-symbolic framework that maps the task input to a program, which (1) allows binding a unified API of language model (LM) functionalities to a programming language (e.g., SQL, Python) to extend its grammar coverage and thus tackle more diverse questions, (2) adopts an LM as both the program parser and the underlying model called by the API during execution, and (3) requires only a few in-context exemplar annotations. Specifically, we employ GPT-3 Codex as the LM. In the parsing stage, with only a few in-context exemplars, Codex is able to identify the part of the task input that cannot be answerable by the original programming language, correctly generate API calls to prompt Codex to solve the unanswerable part, and identify where to place the API calls while being compatible with the original grammar. In the execution stage, Codex can perform versatile functionalities (e.g., commonsense QA, information extraction) given proper prompts in the API calls. Binder achieves state-of-the-art results on WikiTableQuestions and TabFact datasets, with explicit output programs that benefit human debugging. Note that previous best systems are all finetuned on tens of thousands of task-specific samples, while Binder only uses dozens of annotations as in-context exemplars without any training. Our code is available at https://github.com/HKUNLP/Binder .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google