SurvBETA: Ensemble-Based Survival Models Using Beran Estimators and Several Attention Mechanisms

要約

生存分析フレームワークにおける機械学習の問題を解決するために、ランダム生存フォレスト、弱い生存モデルを使用した勾配ブースティング マシン、コックス モデルのアンサンブルなど、多くのアンサンブル ベースのモデルが提案されています。
モデルのセットを拡張するために、Beran 推定器がアンサンブル内の弱学習器として使用される、SurvBETA (Three Attendee メカニズムを使用した Survival Beran 推定器アンサンブル) と呼ばれる新しいアンサンブル ベースのモデルが提案されています。
Beran 推定量は、インスタンス間の関係を考慮したカーネル回帰モデルとみなすことができます。
条件付き生存関数の形式での弱学習器の出力は、分析されたインスタンスとすべてのブートストラップ サンプルのプロトタイプの間の距離を考慮した注意の重みで集計されます。
アテンション メカニズムは、Beran 推定器の実装、ブートストラップ サンプルの特定のプロトタイプの決定、および弱いモデル予測の集約の 3 回使用されます。
提案されたモデルは 2 つの形式で提示されます。1 つはトレーニングのために複雑な最適化問題を解決する必要がある一般的な形式です。
単純な最適化問題の解決につながる、不正確なフーバーの汚染モデルによるアテンションの重みの特別な表現を考慮することにより、簡略化された形式で計算されます。
数値実験では、合成データ上のモデルの特性を示し、そのモデルを実際のデータ上の他の生存モデルと比較します。
提案されたモデルを実装するコードは公開されています。

要約(オリジナル)

Many ensemble-based models have been proposed to solve machine learning problems in the survival analysis framework, including random survival forests, the gradient boosting machine with weak survival models, ensembles of the Cox models. To extend the set of models, a new ensemble-based model called SurvBETA (the Survival Beran estimator Ensemble using Three Attention mechanisms) is proposed where the Beran estimator is used as a weak learner in the ensemble. The Beran estimator can be regarded as a kernel regression model taking into account the relationship between instances. Outputs of weak learners in the form of conditional survival functions are aggregated with attention weights taking into account the distance between the analyzed instance and prototypes of all bootstrap samples. The attention mechanism is used three times: for implementation of the Beran estimators, for determining specific prototypes of bootstrap samples and for aggregating the weak model predictions. The proposed model is presented in two forms: in a general form requiring to solve a complex optimization problem for its training; in a simplified form by considering a special representation of the attention weights by means of the imprecise Huber’s contamination model which leads to solving a simple optimization problem. Numerical experiments illustrate properties of the model on synthetic data and compare the model with other survival models on real data. A code implementing the proposed model is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google