Revealing economic facts: LLMs know more than they say

要約

大規模な言語モデル（LLM）の隠された状態を使用して、経済統計と財務統計を推定して帰属できるかどうかを調査します。
郡レベル（失業など）および企業レベル（総資産など）変数に焦点を当て、オープンソースLLMの隠された状態で訓練された単純な線形モデルがモデルのテキスト出力を上回ることを示します。
これは、LLMSの対応が直接明らかにするよりも、隠された状態がより豊富な経済情報を捉えることを示唆しています。
学習曲線分析では、トレーニングに十分であることが十分であることを示しています。
また、ターゲット変数にラベル付けされたデータを必要とせずに推定精度を向上させる転送学習方法も提案します。
最後に、超解像度とデータ代入タスクにおける隠れた状態表現の実用的なユーティリティを実証します。

要約(オリジナル)

We investigate whether the hidden states of large language models (LLMs) can be used to estimate and impute economic and financial statistics. Focusing on county-level (e.g. unemployment) and firm-level (e.g. total assets) variables, we show that a simple linear model trained on the hidden states of open-source LLMs outperforms the models’ text outputs. This suggests that hidden states capture richer economic information than the responses of the LLMs reveal directly. A learning curve analysis indicates that only a few dozen labelled examples are sufficient for training. We also propose a transfer learning method that improves estimation accuracy without requiring any labelled data for the target variable. Finally, we demonstrate the practical utility of hidden-state representations in super-resolution and data imputation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google