STRUX: An LLM for Decision-Making with Structured Explanations

要約

私たちの日常生活は無数の決定によって形作られており、これらの選択の背後にある方法と理由を理解することが最も重要です。
このホワイトペーパーでは、構造化された説明を提供することで LLM の意思決定を強化する、STRUX と呼ばれる新しい LLM 意思決定フレームワークを紹介します。
これらには、決定に関連する有利な事実と不利な事実、およびそれぞれの長所が含まれます。
STRUX は、長い情報を重要な事実の簡潔な表に抽出することから始まります。
次に、一連の反省ステップを採用して、これらの事実のどれが重要であるかを判断し、特定の決定に関して有利または不利のいずれかに分類します。
最後に、LLM を微調整して、これらの重要な事実を特定して優先順位を付け、意思決定を最適化します。
STRUX は、決算報告の記録に基づいて株式投資の意思決定を予測するという困難なタスクで評価され、強力なベースラインに対して優れたパフォーマンスを実証しました。
ユーザーがさまざまな要因の影響を理解できるようにすることで意思決定の透明性が向上し、LLM による実際的な意思決定に向けた有意義な一歩となります。

要約(オリジナル)

Countless decisions shape our daily lives, and it is paramount to understand the how and why behind these choices. In this paper, we introduce a new LLM decision-making framework called STRUX, which enhances LLM decision-making by providing structured explanations. These include favorable and adverse facts related to the decision, along with their respective strengths. STRUX begins by distilling lengthy information into a concise table of key facts. It then employs a series of self-reflection steps to determine which of these facts are pivotal, categorizing them as either favorable or adverse in relation to a specific decision. Lastly, we fine-tune an LLM to identify and prioritize these key facts to optimize decision-making. STRUX has been evaluated on the challenging task of forecasting stock investment decisions based on earnings call transcripts and demonstrated superior performance against strong baselines. It enhances decision transparency by allowing users to understand the impact of different factors, representing a meaningful step towards practical decision-making with LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google