Large Language Models for Semantic Monitoring of Corporate Disclosures: A Case Study on Korea’s Top 50 KOSPI Companies

要約

急速に進歩する人工知能の領域において、OpenAIのGPT-3.5-turboやGPT-4のような最先端の言語モデルは、複雑なタスクを自動化するための前例のない機会を提供している。この研究論文では、韓国の文脈における企業の開示を意味的に分析するためのこれらのモデルの能力、特に適時開示について掘り下げている。本研究では、韓国のKOSPIに上場している時価総額上位50社に焦点を当て、17ヶ月間にわたる月次開示サマリーを精査した。各サマリーには、1(非常に否定的)から5(非常に肯定的)までのセンチメント評価が割り当てられた。言語モデルの有効性を測定するため、そのセンチメント評価を人間の専門家が生成したものと比較した。その結果、GPT-3.5-turboとGPT-4の間に顕著な性能差があることが明らかになりました。スピアマン相関係数は0.61、単純一致率は0.82であった。本研究は、GPTモデルの評価特性に関する貴重な洞察に貢献し、自動化されたセマンティック・モニタリング分野における将来の技術革新の基礎を築くものである。

要約(オリジナル)

In the rapidly advancing domain of artificial intelligence, state-of-the-art language models such as OpenAI’s GPT-3.5-turbo and GPT-4 offer unprecedented opportunities for automating complex tasks. This research paper delves into the capabilities of these models for semantically analyzing corporate disclosures in the Korean context, specifically for timely disclosure. The study focuses on the top 50 publicly traded companies listed on the Korean KOSPI, based on market capitalization, and scrutinizes their monthly disclosure summaries over a period of 17 months. Each summary was assigned a sentiment rating on a scale ranging from 1(very negative) to 5(very positive). To gauge the effectiveness of the language models, their sentiment ratings were compared with those generated by human experts. Our findings reveal a notable performance disparity between GPT-3.5-turbo and GPT-4, with the latter demonstrating significant accuracy in human evaluation tests. The Spearman correlation coefficient was registered at 0.61, while the simple concordance rate was recorded at 0.82. This research contributes valuable insights into the evaluative characteristics of GPT models, thereby laying the groundwork for future innovations in the field of automated semantic monitoring.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL