A Modulation Layer to Increase Neural Network Robustness Against Data Quality Issues

要約

【タイトル】
データ品質の問題に対するニューラルネットワーク堅牢性向上のための調整レイヤー

【要約】
– 機械学習において、データ品質や欠損の問題は健康管理などの高い威力を持つアプリケーションにおいてよく発生する。
– 開発者は高品質なデータのみを使用して機械学習モデルをトレーニングする傾向があるが、実際のアプリケーションではモデルの有用性が低下する。
– そこで提案されるのは、完全連結レイヤーの固定重みを追加の入力の関数に置き換えるニューラルネットワーク改造。
– この改造は、神経伝達物質の効果、生物ニューロン回路の能力を模倣したもので、信頼性スコアを調整信号として使用することで、データ品質の低下に対して堅牢性が向上することが示された。
– これにより、トレーニング時間を短縮するだけでなく、注入処理では処理できない、他のデータ品質メジャーの導入も可能である。
– この結果は、調整完全連結レイヤーを用いた情報品質の低下を明示的に考慮することが実時間アプリケーションの展開により適していることを示唆している。

要約(オリジナル)

Data missingness and quality are common problems in machine learning, especially for high-stakes applications such as healthcare. Developers often train machine learning models on carefully curated datasets using only high quality data; however, this reduces the utility of such models in production environments. We propose a novel neural network modification to mitigate the impacts of low quality and missing data which involves replacing the fixed weights of a fully-connected layer with a function of an additional input. This is inspired from neuromodulation in biological neural networks where the cortex can up- and down-regulate inputs based on their reliability and the presence of other data. In testing, with reliability scores as a modulating signal, models with modulating layers were found to be more robust against degradation of data quality, including additional missingness. These models are superior to imputation as they save on training time by completely skipping the imputation process and further allow the introduction of other data quality measures that imputation cannot handle. Our results suggest that explicitly accounting for reduced information quality with a modulating fully connected layer can enable the deployment of artificial intelligence systems in real-time applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI