From Words to Numbers: Your Large Language Model Is Secretly A Capable Regressor When Given In-Context Examples

要約

私たちは、事前トレーニングされた大規模言語モデル (Llama2、GPT-4、Claude 3 など) が、追加のトレーニングや勾配更新を行わずに、コンテキスト内の例が与えられたときに線形回帰および非線形回帰をどの程度うまく実行できるかを分析します。
私たちの調査結果では、いくつかの大規模な言語モデル (GPT-4、Claude 3 など) が、ランダム フォレスト、バギング、勾配ブースティングなどの従来の教師あり手法に匹敵する (またはそれを上回る) パフォーマンスで回帰タスクを実行できることが明らかになりました。
たとえば、難しいフリードマン #2 回帰データセットでは、Claude 3 は、AdaBoost、SVM、ランダム フォレスト、KNN、または勾配ブースティングなどの多くの教師あり手法を上回っています。
次に、大規模な言語モデルのパフォーマンスがコンテキスト内のエグゼンプラの数に応じてどの程度うまくスケールするかを調査します。
私たちはオンライン学習からの後悔の概念を借用し、LLM がサブリニアな後悔を得ることができることを経験的に示します。

要約(オリジナル)

We analyze how well pre-trained large language models (e.g., Llama2, GPT-4, Claude 3, etc) can do linear and non-linear regression when given in-context examples, without any additional training or gradient updates. Our findings reveal that several large language models (e.g., GPT-4, Claude 3) are able to perform regression tasks with a performance rivaling (or even outperforming) that of traditional supervised methods such as Random Forest, Bagging, or Gradient Boosting. For example, on the challenging Friedman #2 regression dataset, Claude 3 outperforms many supervised methods such as AdaBoost, SVM, Random Forest, KNN, or Gradient Boosting. We then investigate how well the performance of large language models scales with the number of in-context exemplars. We borrow from the notion of regret from online learning and empirically show that LLMs are capable of obtaining a sub-linear regret.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google