GPT-3 Models are Few-Shot Financial Reasoners

要約

財務分析は企業の業績を評価するための重要なツールです。
実務家は、収益性の高い投資決定を行うために財務上の質問に答えようと努めており、そのために高度な定量分析を使用しています。
そのため、財務質問応答 (QA) は、数字に関する深い推論を必要とする質問応答タスクになります。
さらに、事前トレーニングされた言語モデルが金融領域でどの程度適切に推論できるかは不明です。
現在の最先端技術では、テキストから財務上の質問に関する関連事実を収集する取得者と、有効な財務プログラムと最終的な回答を生成するジェネレータが必要です。
ただし、GPT-3 のような最近の大規模な言語モデルは、ほんの数ショットの例でさまざまなタスクに対して最先端のパフォーマンスを達成しています。
GPT-3 を使用していくつかの実験を実行したところ、特に財務上の質問の正確な性質と財務書類に保存されている複雑な情報により、このタスクで SOTA のパフォーマンスを達成するには、別個の検索モデルとロジック エンジンが引き続き不可欠なコンポーネントであることがわかりました。
このことを理解した上で、GPT-3 に対する当社の洗練されたプロンプト エンジニアリング アプローチは、微調整を行わずに SOTA に近い精度を達成します。

要約(オリジナル)

Financial analysis is an important tool for evaluating company performance. Practitioners work to answer financial questions to make profitable investment decisions, and use advanced quantitative analyses to do so. As a result, Financial Question Answering (QA) is a question answering task that requires deep reasoning about numbers. Furthermore, it is unknown how well pre-trained language models can reason in the financial domain. The current state-of-the-art requires a retriever to collect relevant facts about the financial question from the text and a generator to produce a valid financial program and a final answer. However, recently large language models like GPT-3 have achieved state-of-the-art performance on wide variety of tasks with just a few shot examples. We run several experiments with GPT-3 and find that a separate retrieval model and logic engine continue to be essential components to achieving SOTA performance in this task, particularly due to the precise nature of financial questions and the complex information stored in financial documents. With this understanding, our refined prompt-engineering approach on GPT-3 achieves near SOTA accuracy without any fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google