AI Research is not Magic, it has to be Reproducible and Responsible: Challenges in the AI field from the Perspective of its PhD Students

要約

ヨーロッパの AI 学生が研究活動中に直面する課題を明らかにすることを目的として、私たちはヨーロッパ 13 か国の AI 博士候補者 28 人を調査しました。
この結果は、次の 3 つの主要な領域における課題を浮き彫りにしています。(1) データセット、モデル、実験などの AI リソースの見つけやすさと品質。
(2) AI 論文で実験を再現することの難しさ。
(3) 信頼性と学際性の欠如。
私たちの調査結果によると、初期段階の AI 研究者は一般的に AI リソースを共有する傾向があるものの、データセットやコードの準備とキュレーション、倫理的評価にもっと携わる動機や知識が不足しており、知識のある研究者と協力することに慣れていないようです。
アプリケーションドメインの専門家。
さらに、コンピューターサイエンスと人工知能の両方におけるデータガバナンスと再現性の既存の実践を調査します。
例えば、再現性評価などの再現性への取り組みを積極的に推進している会場は少数です。
極めて重要なことは、社会全体にとって極めて重要であり、特に AI 研究コミュニティにとって不可欠である、責任ある再現可能な AI 研究実践を直ちに導入する必要があるということです。
この文書では、特定された課題を克服するための社会的推奨事項と技術的推奨事項の組み合わせを提案します。
社会的には、AI カンファレンスやジャーナルにおける再現性への取り組みの一般的な採用と、特にデータ ガバナンスの実践における学際的なコラボレーションの改善を提案します。
技術面では、データセットとコードのバージョン管理をより適切にサポートする強化されたツールと、AI リソースの共有と発見、実験の共有、実行、検証を容易にするコンピューティング インフラストラクチャが求められます。

要約(オリジナル)

With the goal of uncovering the challenges faced by European AI students during their research endeavors, we surveyed 28 AI doctoral candidates from 13 European countries. The outcomes underscore challenges in three key areas: (1) the findability and quality of AI resources such as datasets, models, and experiments; (2) the difficulties in replicating the experiments in AI papers; (3) and the lack of trustworthiness and interdisciplinarity. From our findings, it appears that although early stage AI researchers generally tend to share their AI resources, they lack motivation or knowledge to engage more in dataset and code preparation and curation, and ethical assessments, and are not used to cooperate with well-versed experts in application domains. Furthermore, we examine existing practices in data governance and reproducibility both in computer science and in artificial intelligence. For instance, only a minority of venues actively promote reproducibility initiatives such as reproducibility evaluations. Critically, there is need for immediate adoption of responsible and reproducible AI research practices, crucial for society at large, and essential for the AI research community in particular. This paper proposes a combination of social and technical recommendations to overcome the identified challenges. Socially, we propose the general adoption of reproducibility initiatives in AI conferences and journals, as well as improved interdisciplinary collaboration, especially in data governance practices. On the technical front, we call for enhanced tools to better support versioning control of datasets and code, and a computing infrastructure that facilitates the sharing and discovery of AI resources, as well as the sharing, execution, and verification of experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google