Trustworthy Large Models in Vision: A Survey

要約

大規模モデル(Large Models: LM)の急速な進歩は、自然言語処理(NLP)からコンピュータビジョン(CV)に至るまで、深層学習の様々な分野に革命をもたらし、目覚ましい成果を上げている。しかしながら、LMは、その強力な性能の一方で信頼できない振る舞いのために、学界や産業界からの挑戦や批判がますます増えており、信頼できる手法による緩和が急務となっている。自然言語処理における信頼できるLMに関する文献は数多く存在するにもかかわらず、CVにおけるLMの信頼性を特に掘り下げた体系的な調査は未だ存在しない。このギャップを緩和するため、本調査では、LMの視覚における信頼性の高い利用を妨げる4つの懸念事項（1)人間による誤用、2)脆弱性、3)固有の問題、4)解釈可能性、についてまとめる。それぞれのトピックに対応する課題、対策、考察を強調することで、本調査が読者のこの分野に対する理解を促進し、LMと人間の期待との整合性を促進し、信頼できるLMが人間社会にとって災害ではなく福祉として機能することを可能にすることを期待する。

要約(オリジナル)

The rapid progress of Large Models (LMs) has recently revolutionized various fields of deep learning with remarkable grades, ranging from Natural Language Processing (NLP) to Computer Vision (CV). However, LMs are increasingly challenged and criticized by academia and industry due to their powerful performance but untrustworthy behavior, which urgently needs to be alleviated by reliable methods. Despite the abundance of literature on trustworthy LMs in NLP, a systematic survey specifically delving into the trustworthiness of LMs in CV remains absent. In order to mitigate this gap, we summarize four relevant concerns that obstruct the trustworthy usage in vision of LMs in this survey, including 1) human misuse, 2) vulnerability, 3) inherent issue and 4) interpretability. By highlighting corresponding challenge, countermeasures, and discussion in each topic, we hope this survey will facilitate readers’ understanding of this field, promote alignment of LMs with human expectations and enable trustworthy LMs to serve as welfare rather than disaster for human society.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL