Bayesian Semi-structured Subspace Inference

要約

半構造化回帰モデルにより、解釈可能な構造化特徴効果と複雑な非構造化特徴効果の共同モデリングが可能になります。
構造化モデル部分は統計モデルからインスピレーションを得ており、特に重要な機能の入出力関係を推測するために使用できます。
複雑な非構造化部分は任意のディープ ニューラル ネットワークを定義し、それによって競争力のある予測パフォーマンスを達成するのに十分な柔軟性を提供します。
これらのモデルは偶然の不確実性も説明できますが、認識的な不確実性を説明する研究はまだ不足しています。
この論文では、部分空間推論を使用した半構造化回帰モデルのベイズ近似を提示することで、この問題に対処します。
この目的を達成するために、構造化効果の完全パラメータ空間と非構造化効果の部分空間からの結合事後サンプリングの部分空間推論を拡張します。
このハイブリッド サンプリング スキームとは別に、私たちの方法では部分空間の調整可能な複雑さが可能になり、損失ランドスケープ内の複数の最小値をキャプチャできます。
数値実験により、半構造化モデルの構造化効果パラメータ事後を回復し、部分空間次元を増加させるために MCMC の全空間事後分布に近づく際の私たちのアプローチの有効性が検証されます。
さらに、私たちのアプローチは、シミュレートされたデータセットと現実世界のデータセット全体にわたって競争力のある予測パフォーマンスを示します。

要約(オリジナル)

Semi-structured regression models enable the joint modeling of interpretable structured and complex unstructured feature effects. The structured model part is inspired by statistical models and can be used to infer the input-output relationship for features of particular importance. The complex unstructured part defines an arbitrary deep neural network and thereby provides enough flexibility to achieve competitive prediction performance. While these models can also account for aleatoric uncertainty, there is still a lack of work on accounting for epistemic uncertainty. In this paper, we address this problem by presenting a Bayesian approximation for semi-structured regression models using subspace inference. To this end, we extend subspace inference for joint posterior sampling from a full parameter space for structured effects and a subspace for unstructured effects. Apart from this hybrid sampling scheme, our method allows for tunable complexity of the subspace and can capture multiple minima in the loss landscape. Numerical experiments validate our approach’s efficacy in recovering structured effect parameter posteriors in semi-structured models and approaching the full-space posterior distribution of MCMC for increasing subspace dimension. Further, our approach exhibits competitive predictive performance across simulated and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google