ExpNote: Black-box Large Language Models are Better Task Solvers with Experience Notebook

要約

ブラックボックス大規模言語モデル (LLM) は、さまざまなタスクを解決する上で大きな力を発揮しており、一般的な問題解決手段と考えられています。
ただし、LLM はタスクの指示を理解しているにもかかわらず、多くの特定のタスクで依然として失敗します。
このペーパーでは、下流のタスクを解決するブラックボックス LLM の能力を高める問題に焦点を当てます。
私たちは、トレーニング データからの経験を反映してメモし、テスト中に外部メモリから経験を取得することで、LLM が不慣れなタスクにうまく適応できるように支援する自動フレームワークである ExpNote を提案します。
複数のタスクで ExpNote を評価したところ、実験結果は、提案された方法がブラックボックス LLM のパフォーマンスを大幅に向上させることを示しました。
データとコードは https://github.com/forangel2014/ExpNote で入手できます。

要約(オリジナル)

Black-box Large Language Models (LLMs) have shown great power in solving various tasks and are considered general problem solvers. However, LLMs still fail in many specific tasks although understand the task instruction. In this paper, we focus on the problem of boosting the ability of black-box LLMs to solve downstream tasks. We propose ExpNote, an automated framework to help LLMs better adapt to unfamiliar tasks through reflecting and noting experiences from training data and retrieving them from external memory during testing. We evaluate ExpNote on multiple tasks and the experimental results demonstrate that the proposed method significantly improves the performance of black-box LLMs. The data and code are available at https://github.com/forangel2014/ExpNote

arxiv情報

提供元, 利用サービス

arxiv.jp, Google