Loquacity and Visible Emotion: ChatGPT as a Policy Advisor

要約

人間の会話能力をシミュレートするソフトウェア「ChatGPT」がますます注目を集めている。
これは、創造的な作業などの生産性を向上させる画期的なツールとして扱われることがあります。
この論文では、複雑な執筆タスクにおけるその可能性を評価するための実験を実行します。
私たちはソフトウェアにイタリア銀行理事会向けの政策概要を作成するよう依頼します。
ChatGPT は、適切に構造化されたコンテンツの提案を提供し、広範で言語的に正しいテキストを数秒で生成することにより、ワークフローを高速化できることがわかりました。
ただし、専門家の監督を大量に必要とするため、生産性の向上が部分的に相殺されます。
アプリを単純に使用すると、出力が不正確、表面的、または無関係になる可能性があります。
表面性は、高レベルの聴衆を対象とした政策アドバイスの文脈において特に問題となる制限です。

要約(オリジナル)

ChatGPT, a software seeking to simulate human conversational abilities, is attracting increasing attention. It is sometimes portrayed as a groundbreaking productivity aid, including for creative work. In this paper, we run an experiment to assess its potential in complex writing tasks. We ask the software to compose a policy brief for the Board of the Bank of Italy. We find that ChatGPT can accelerate workflows by providing well-structured content suggestions, and by producing extensive, linguistically correct text in a matter of seconds. It does, however, require a significant amount of expert supervision, which partially offsets productivity gains. If the app is used naively, output can be incorrect, superficial, or irrelevant. Superficiality is an especially problematic limitation in the context of policy advice intended for high-level audiences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google