Search-based Optimisation of LLM Learning Shots for Story Point Estimation

要約

大規模言語モデル (LLM) を使用して機械学習タスクを実行する方法の 1 つは、予測の作成を依頼する前に、いくつかの例を提供することです。
これは、少数ショット学習として知られるメタ学習プロセスです。
このペーパーでは、新しいアジャイル タスクのストーリー ポイントを推定するために LLM を使用する場合、利用可能な検索ベースの手法を使用してサンプルの数と組み合わせを最適化し、LLM の推定パフォーマンスを向上させます。
予備的な結果では、SBSE 手法により、ゼロショット設定に対して 3 つのデータセットにわたって LLM の推定パフォーマンスが平均 59.34% (推定の平均絶対誤差に関して) 向上することが示されています。

要約(オリジナル)

One of the ways Large Language Models (LLMs) are used to perform machine learning tasks is to provide them with a few examples before asking them to produce a prediction. This is a meta-learning process known as few-shot learning. In this paper, we use available Search-Based methods to optimise the number and combination of examples that can improve an LLM’s estimation performance, when it is used to estimate story points for new agile tasks. Our preliminary results show that our SBSE technique improves the estimation performance of the LLM by 59.34% on average (in terms of mean absolute error of the estimation) over three datasets against a zero-shot setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google