Rigor in AI: Doing Rigorous AI Work Requires a Broader, Responsible AI-Informed Conception of Rigor

要約

AIの研究と実践では、数学的、統計的、または計算方法が正しく適用されているかなど、方法論的な厳密さの観点から、厳密さが主に理解されたままです。
私たちは、この狭い策の概念は、AI能力に関する誇張された主張を含む、責任あるAIコミュニティによって提起された懸念に貢献したと主張します。
私たちの立場は、厳密なAIの研究と実践が必要なものについてのより広い概念が必要であるということです。
このような概念は、（1）方法論の厳密さのより広範な理解に加えて、（2）背景知識が何に取り組むべきか（認識論的な厳密さ）に関連する側面を含めるべきだと考えています。
（3）懲戒、コミュニティ、または個人の規範、基準、または信念がどのように仕事に影響するか（規範的な厳密さ）。
（4）使用中の理論的構成要素がどれほど明確に表現されているか（概念的な厳密さ）。
（5）報告されているものと方法（報告の厳密さ）;
（6）既存の証拠からの推論がどれほど適切にサポートされているか（解釈的な厳密さ）。
そうすることで、私たちは、研究者、政策立案者、ジャーナリスト、その他の利害関係者によるAIコミュニティの仕事に関する非常に必要な対話のための有用な言語とフレームワークを提供することも目指しています。

要約(オリジナル)

In AI research and practice, rigor remains largely understood in terms of methodological rigor — such as whether mathematical, statistical, or computational methods are correctly applied. We argue that this narrow conception of rigor has contributed to the concerns raised by the responsible AI community, including overblown claims about AI capabilities. Our position is that a broader conception of what rigorous AI research and practice should entail is needed. We believe such a conception — in addition to a more expansive understanding of (1) methodological rigor — should include aspects related to (2) what background knowledge informs what to work on (epistemic rigor); (3) how disciplinary, community, or personal norms, standards, or beliefs influence the work (normative rigor); (4) how clearly articulated the theoretical constructs under use are (conceptual rigor); (5) what is reported and how (reporting rigor); and (6) how well-supported the inferences from existing evidence are (interpretative rigor). In doing so, we also aim to provide useful language and a framework for much-needed dialogue about the AI community’s work by researchers, policymakers, journalists, and other stakeholders.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google