A performance characteristic curve for model evaluation: the application in information diffusion prediction

要約

ソーシャル ネットワーク上の情報拡散予測は、将来のメッセージ受信者を予測することを目的としており、マーケティングやソーシャル メディアでの実用化が可能です。
さまざまな予測モデルはすべて良好なパフォーマンスを示していますが、パフォーマンス評価の一般的なフレームワークは依然として限られています。
ここでは、さまざまな複雑さのタスクにおけるパフォーマンスを把握する、モデルのパフォーマンス特性曲線を特定することを目的としています。
拡散データのランダム性を定量化するための情報エントロピーに基づく指標を提案し、ランダム性とモデルの予測精度の間のスケーリング パターンを特定します。
さまざまなシーケンス長、システム サイズ、ランダム性によるパターン内のデータ ポイントはすべて 1 つの曲線にまとめられ、不確実性の増加に対して正しい予測を行うモデル本来の能力を捉えます。
この曲線にはモデルの評価に使用できるほど重要な特性があるため、これをモデルの性能特性曲線として定義します。
曲線の妥当性は、同じファミリーの 3 つの予測モデルによってテストされ、既存の研究に沿った結論に達します。
また、この曲線は、文献からの 2 つの異なるモデルを評価するために首尾よく適用されます。
私たちの研究により、データのランダム性と予測精度の根底にあるパターンが明らかになりました。
性能特性曲線は、モデルの性能を体系的に評価する新しい方法を提供し、モデル評価のための他のフレームワークに関する将来の研究に光を当てます。

要約(オリジナル)

The information diffusion prediction on social networks aims to predict future recipients of a message, with practical applications in marketing and social media. While different prediction models all claim to perform well, general frameworks for performance evaluation remain limited. Here, we aim to identify a performance characteristic curve for a model, which captures its performance on tasks of different complexity. We propose a metric based on information entropy to quantify the randomness in diffusion data, then identify a scaling pattern between the randomness and the prediction accuracy of the model. Data points in the patterns by different sequence lengths, system sizes, and randomness all collapse into a single curve, capturing a model’s inherent capability of making correct predictions against increased uncertainty. Given that this curve has such important properties that it can be used to evaluate the model, we define it as the performance characteristic curve of the model. The validity of the curve is tested by three prediction models in the same family, reaching conclusions in line with existing studies. Also, the curve is successfully applied to evaluate two distinct models from the literature. Our work reveals a pattern underlying the data randomness and prediction accuracy. The performance characteristic curve provides a new way to systematically evaluate models’ performance, and sheds light on future studies on other frameworks for model evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google