MONAL: Model Autophagy Analysis for Modeling Human-AI Interactions

要約

社会情報処理における大規模モデルとそのマルチモーダルなバリアントの重要性が増しており、社会の安全と倫理に関する議論が巻き起こっています。
しかし、(i) 人間と人工知能システムの間の相互作用、および (ii) 関連する制限の理解と対処に関する包括的な分析は不足しています。
このギャップを埋めるために、大規模モデルの自己消費を説明するモデル オートファジー解析 (MONAL) を提案します。
MONALは、人間とAIシステムの間の交換において人間が生成した情報の抑制を解明するために、2つの異なる自食ループ（「自己消費ループ」と呼ばれる）を採用している。
多様なデータセットに対する包括的な実験を通じて、生成されたモデルが情報の作成者および発信者としての能力を評価します。
私たちの主要な調査結果は、(i) 人間が生成した情報と比較して、トレーニング データセット内でモデルが生成した合成情報が時間の経過とともに徐々に普及していることを明らかにしています。
(ii) 大規模なモデルが複数の反復にわたって情報送信機として機能する際に、特定のコンテンツを選択的に変更または優先するという明らかな傾向。
(iii) 社会的または人間が生成した情報の多様性が減少し、大規模モデルのパフォーマンス向上のボトルネックとなり、局所的な最適化に限定される可能性。

要約(オリジナル)

The increasing significance of large models and their multi-modal variants in societal information processing has ignited debates on social safety and ethics. However, there exists a paucity of comprehensive analysis for: (i) the interactions between human and artificial intelligence systems, and (ii) understanding and addressing the associated limitations. To bridge this gap, we propose Model Autophagy Analysis (MONAL) for large models’ self-consumption explanation. MONAL employs two distinct autophagous loops (referred to as “self-consumption loops”) to elucidate the suppression of human-generated information in the exchange between human and AI systems. Through comprehensive experiments on diverse datasets, we evaluate the capacities of generated models as both creators and disseminators of information. Our key findings reveal (i) A progressive prevalence of model-generated synthetic information over time within training datasets compared to human-generated information; (ii) The discernible tendency of large models, when acting as information transmitters across multiple iterations, to selectively modify or prioritize specific contents; and (iii) The potential for a reduction in the diversity of socially or human-generated information, leading to bottlenecks in the performance enhancement of large models and confining them to local optima.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google