Specification Overfitting in Artificial Intelligence

要約

機械学習 (ML) と人工知能 (AI) のアプローチは、その固有の偏見と、制御、説明責任、透明性の欠如により、しばしば批判されます。
その結果、規制当局は、このテクノロジーの潜在的なマイナスの副作用を抑えることに苦労しています。
公平性や堅牢性などの高レベルの要件は、基礎となる要件の個別の側面を捉える不完全な代理である具体的な仕様メトリクスに形式化する必要があります。
さまざまなメトリクス間のトレードオフの可能性と過剰最適化に対する脆弱性を考慮すると、システム開発プロセスに仕様メトリクスを統合することは簡単ではありません。
このペーパーでは、仕様のオーバーフィッティング、つまりシステムが指定されたメトリクスに過度に焦点を当て、高レベルの要件とタスクのパフォーマンスを損なうシナリオを定義します。
私たちは、研究者がいくつかの AI 分野 (自然言語処理、コンピューター ビジョン、強化学習など) で仕様メトリックをどのように提案、測定、最適化するかを分類するための広範な文献調査を紹介します。
2018 年から 2023 年半ばまでの主要な AI カンファレンスやジャーナルの論文をキーワードベースで検索し、仕様指標を提案または最適化する 74 件の論文を特定して分析しました。
ほとんどの論文は（たとえば、複数の仕様メトリックを報告することによって）仕様のオーバーフィッティングに暗黙的に取り組んでいますが、システム開発において仕様メトリックがどのような役割を果たすべきかについて議論したり、メトリック定式化の背後にある範囲や前提を明示的に定義したりすることはほとんどないことがわかりました。

要約(オリジナル)

Machine learning (ML) and artificial intelligence (AI) approaches are often criticized for their inherent bias and for their lack of control, accountability, and transparency. Consequently, regulatory bodies struggle with containing this technology’s potential negative side effects. High-level requirements such as fairness and robustness need to be formalized into concrete specification metrics, imperfect proxies that capture isolated aspects of the underlying requirements. Given possible trade-offs between different metrics and their vulnerability to over-optimization, integrating specification metrics in system development processes is not trivial. This paper defines specification overfitting, a scenario where systems focus excessively on specified metrics to the detriment of high-level requirements and task performance. We present an extensive literature survey to categorize how researchers propose, measure, and optimize specification metrics in several AI fields (e.g., natural language processing, computer vision, reinforcement learning). Using a keyword-based search on papers from major AI conferences and journals between 2018 and mid-2023, we identify and analyze 74 papers that propose or optimize specification metrics. We find that although most papers implicitly address specification overfitting (e.g., by reporting more than one specification metric), they rarely discuss which role specification metrics should play in system development or explicitly define the scope and assumptions behind metric formulations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google