Extended Linear Regression: A Kalman Filter Approach for Minimizing Loss via Area Under the Curve

要約

この研究では、カルマン フィルターを統合し、曲線領域を分析して損失を最小限に抑えることにより、線形回帰モデルを強化しました。
目標は、重み更新に確率的勾配降下法 (SGD) を使用して最適な線形回帰方程式を開発することです。
私たちのアプローチには、ユーザー定義のパラメーターから始まる段階的なプロセスが含まれます。
線形回帰モデルは SGD を使用してトレーニングされ、重みと損失を個別に追跡し、最終的にそれらを圧縮します。
次に、カルマン フィルターが重みと損失の配列に基づいてトレーニングされ、次の統合重みが予測されます。
予測は、入力平均と重みを乗算して得られ、損失を評価して重み対損失曲線を形成します。
曲線の方程式は 2 点式を使用して導出され、曲線の下の面積は積分によって計算されます。
面積が最小の線形回帰式が予測に最適な曲線になります。
利点としては、セット全体を必要とする方法とは異なり、勾配降下法による一定の重み更新を回避できること、部分的なデータセットを操作できることが挙げられます。
ただし、計算の複雑さを考慮する必要があります。
カルマン フィルターの精度は、特定の予測範囲を超えると低下する可能性があります。

要約(オリジナル)

This research enhances linear regression models by integrating a Kalman filter and analysing curve areas to minimize loss. The goal is to develop an optimal linear regression equation using stochastic gradient descent (SGD) for weight updating. Our approach involves a stepwise process, starting with user-defined parameters. The linear regression model is trained using SGD, tracking weights and loss separately and zipping them finally. A Kalman filter is then trained based on weight and loss arrays to predict the next consolidated weights. Predictions result from multiplying input averages with weights, evaluated for loss to form a weight-versus-loss curve. The curve’s equation is derived using the two-point formula, and area under the curve is calculated via integration. The linear regression equation with minimum area becomes the optimal curve for prediction. Benefits include avoiding constant weight updates via gradient descent and working with partial datasets, unlike methods needing the entire set. However, computational complexity should be considered. The Kalman filter’s accuracy might diminish beyond a certain prediction range.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google