Asking Better Questions — The Art and Science of Forecasting: A mechanism for truer answers to high-stakes questions

要約

タイトル：質問を上手くすること – 予測の芸術と科学：高度な問題に対するより真実な解答の仕組み
要約：
– AIの能力向上を見積もり、ベンチマークする能力がない場合、組織は各変化に対して反応的に対応し、中長期戦略を構築する能力が妨げられます。
– 本稿では、明示的な仮定と定量的な見積もりを使用する政治学のツールである予測の最近の成長について探究し、集団レベルで行われる予測によって、才能を特定・確認し、リーダーがAIの進展についてより良いモデルを構築し、政策の設計に対する入力を改善することができることが示されました。
– 予測の成功したアプローチと事例を検討し、98%の人口よりも優れた「超予測者」のサブクラスが存在し、その洞察力は最も信頼できるものとなります。最後に、フィリップ・テトロック氏の「十戒」を含む、成功した予測の技術が概要されました。
– 技術の変化が速い風景に適応するために、設計者や政策立案者は、最初の防衛線として予測を考慮すべきです。

要約(オリジナル)

Without the ability to estimate and benchmark AI capability advancements, organizations are left to respond to each change reactively, impeding their ability to build viable mid and long-term strategies. This paper explores the recent growth of forecasting, a political science tool that uses explicit assumptions and quantitative estimation that leads to improved prediction accuracy. Done at the collective level, forecasting can identify and verify talent, enable leaders to build better models of AI advancements and improve inputs into design policy. Successful approaches to forecasting and case studies are examined, revealing a subclass of ‘superforecasters’ who outperform 98% of the population and whose insights will be most reliable. Finally, techniques behind successful forecasting are outlined, including Phillip Tetlock’s ‘Ten Commandments.’ To adapt to a quickly changing technology landscape, designers and policymakers should consider forecasting as a first line of defense.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI