The troublesome kernel — On hallucinations, no free lunches and the accuracy-stability trade-off in inverse problems

要約

人工知能 (AI) に触発された方法は、困難な問題に対する画期的なパフォーマンスを通じて、計算科学と工学を根本的に変え始めています。
ただし、そのような技術の信頼性と信頼性は大きな懸念事項になりつつあります。
このペーパーの焦点であるイメージングの逆問題では、メソッドが幻覚、つまり、偽の、しかし現実的に見えるアーティファクトに苦しむ可能性があるという経験的証拠が増えています。
不安定性、つまりデータの摂動に対する感度。
予測不可能な一般化、つまり、一部の画像では優れたパフォーマンスが得られますが、他の画像では大幅に低下します。
この論文は、これらの現象の理論的基礎を提示します。
AIにヒントを得た手法だけでなく、任意の再構成方法でそのような効果がいつどのように発生するかを説明する数学的フレームワークを提供します。
私たちの結果のいくつかは、「フリーランチなし」定理の形をとっています。
具体的には、(i) 1 つの画像で優れたパフォーマンスを発揮する方法は、ある画像から別の画像に詳細を誤って転送して幻覚を引き起こす可能性があること、(ii) 2 つ以上の画像で優れたパフォーマンスを発揮する方法は幻覚を起こしたり不安定になったりする可能性があること、(iii) 最適化
精度と安定性のトレードオフは一般的に困難です。(iv) 幻覚や不安定性が発生したとしても、まれなイベントではなく、標準的なトレーニングによって促進される可能性があります。(v) 特定の問題に対して最適な再構成マップを構築することは不可能な場合があります。
、（vi）信頼性を向上させるための標準的な方法（正則化や敵対的トレーニングなど）自体が不安定な問題につながる可能性があります。
私たちの結果は、これらの効果を forwards オペレーターのカーネルまで追跡します。
彼らは、カーネルに関する情報が再構築手順にエンコードされている場合にのみ、そのような影響を回避できると主張しています。
これに基づいて、この作業は、イメージングの逆問題に対する堅牢で信頼性の高い AI にヒントを得た方法を開発する新しい方法の研究に拍車をかけることを目的としています。

要約(オリジナル)

Methods inspired by Artificial Intelligence (AI) are starting to fundamentally change computational science and engineering through breakthrough performances on challenging problems. However, reliability and trustworthiness of such techniques is becoming a major concern. In inverse problems in imaging, the focus of this paper, there is increasing empirical evidence that methods may suffer from hallucinations, i.e., false, but realistic-looking artifacts; instability, i.e., sensitivity to perturbations in the data; and unpredictable generalization, i.e., excellent performance on some images, but significant deterioration on others. This paper presents a theoretical foundation for these phenomena. We give a mathematical framework describing how and when such effects arise in arbitrary reconstruction methods, not just AI-inspired techniques. Several of our results take the form of ‘no free lunch’ theorems. Specifically, we show that (i) methods that overperform on a single image can wrongly transfer details from one image to another, creating a hallucination, (ii) methods that overperform on two or more images can hallucinate or be unstable, (iii) optimizing the accuracy-stability trade-off is generally difficult, (iv) hallucinations and instabilities, if they occur, are not rare events, and may be encouraged by standard training, (v) it may be impossible to construct optimal reconstruction maps for certain problems, (vi) standard methods to improve reliability (e.g., regularization or adversarial training) may themselves lead to unstable problems. Our results trace these effects to the kernel of the forwards operator. They assert that such effects can be avoided only if information about the kernel is encoded into the reconstruction procedure. Based on this, this work aims to spur research into new ways to develop robust and reliable AI-inspired methods for inverse problems in imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google