Prompting with Pseudo-Code Instructions

要約

自然言語命令によるプロンプトは、大規模な言語モデルの機能を利用する一般的な方法として最近登場しました。
自然言語には固有のあいまいさが存在するため、疑似コードの使用など、曖昧さの少ないプロンプト スタイルでプロンプトを表示することの利点を考慮するのは直感的です。
この論文では、疑似コード命令によるプロンプトが事前トレーニング済み言語モデルのパフォーマンスの向上に役立つかどうかを検討します。
Super-NaturalInstructions データセットをソースとして、分類、QA、生成言語タスクにわたる 132 の異なるタスク用の疑似コード プロンプトのデータセットを手動で作成します。
これらのプロンプトと自然言語の対応するプロンプトを使用して、BLOOM と CodeGen という 2 つの LLM ファミリでのパフォーマンスを調査します。
私たちの実験では、疑似コード命令を使用すると、分類タスクの F1 スコアが平均 7 ～ 16 ポイント (絶対) 増加し、全体の ROUGE-L スコアの合計が 12 ～ 38% (相対) 改善され、より良い結果が得られることが示されています。
すべてのタスク。
コードのコメント、ドキュメント文字列、および擬似コードにエンコードされた構造上の手がかりがすべてパフォーマンスの向上に貢献していることを示す、詳細なアブレーション研究が含まれています。
私たちの知る限り、私たちの研究は、擬似コード プロンプトが事前トレーニング済み LM のパフォーマンス向上にどのように役立つかを実証した最初の研究です。

要約(オリジナル)

Prompting with natural language instructions has recently emerged as a popular method of harnessing the capabilities of large language models. Given the inherent ambiguity present in natural language, it is intuitive to consider the possible advantages of prompting with less ambiguous prompt styles, such as the use of pseudo-code. In this paper we explore if prompting via pseudo-code instructions helps improve the performance of pre-trained language models. We manually create a dataset of pseudo-code prompts for 132 different tasks spanning classification, QA and generative language tasks, sourced from the Super-NaturalInstructions dataset. Using these prompts along with their counterparts in natural language, we study their performance on two LLM families – BLOOM and CodeGen. Our experiments show that using pseudo-code instructions leads to better results, with an average increase (absolute) of 7-16 points in F1 scores for classification tasks and an improvement (relative) of 12-38% in aggregate ROUGE-L scores across all tasks. We include detailed ablation studies which indicate that code comments, docstrings, and the structural clues encoded in pseudo-code all contribute towards the improvement in performance. To the best of our knowledge our work is the first to demonstrate how pseudo-code prompts can be helpful in improving the performance of pre-trained LMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google