Towards a performance characteristic curve for model evaluation: an application in information diffusion prediction

要約

ソーシャル ネットワーク上の情報拡散予測は、将来のメッセージ受信者を予測することを目的としており、マーケティングやソーシャル メディアでの実用化が可能です。
さまざまな予測モデルはすべて良好なパフォーマンスを示していますが、パフォーマンス評価の一般的なフレームワークは依然として限られています。
ここでは、さまざまな複雑さのタスクにおけるパフォーマンスを把握する、モデルのパフォーマンス特性曲線を特定することを目的としています。
拡散データのランダム性を定量化するために、情報エントロピーに基づく指標を提案します。
次に、モデルのランダム性と予測精度の間のスケーリング パターンを特定します。
変数を適切に調整することで、さまざまなシーケンス長、システム サイズ、ランダム性によるデータ ポイントをすべて単一の曲線にまとめることができます。
この曲線は、不確実性の増加に対して正しい予測を行うモデル本来の能力を捉えており、これをモデルのパフォーマンス特性曲線とみなします。
曲線の妥当性は、同じファミリーの 3 つの予測モデルによってテストされ、既存の研究に沿った結論に達します。
さらに、この曲線を適用して 8 つの最先端モデルのパフォーマンスを評価することに成功し、従来の指標では差別化が難しいモデルであっても、明確かつ包括的な評価を提供します。
私たちの研究により、データのランダム性と予測精度の根底にあるパターンが明らかになりました。
性能特性曲線は、モデルの性能を体系的に評価する新しい方法を提供し、モデル評価のための他のフレームワークに関する将来の研究に光を当てます。

要約(オリジナル)

The information diffusion prediction on social networks aims to predict future recipients of a message, with practical applications in marketing and social media. While different prediction models all claim to perform well, general frameworks for performance evaluation remain limited. Here, we aim to identify a performance characteristic curve for a model, which captures its performance on tasks of different complexity. We propose a metric based on information entropy to quantify the randomness in diffusion data. We then identify a scaling pattern between the randomness and the prediction accuracy of the model. By properly adjusting the variables, data points by different sequence lengths, system sizes, and randomness can all collapse into a single curve. The curve captures a model’s inherent capability of making correct predictions against increased uncertainty, which we regard as the performance characteristic curve of the model. The validity of the curve is tested by three prediction models in the same family, reaching conclusions in line with existing studies. In addition, we apply the curve to successfully assess the performance of eight state-of-the-art models, providing a clear and comprehensive evaluation even for models that are challenging to differentiate with conventional metrics. Our work reveals a pattern underlying the data randomness and prediction accuracy. The performance characteristic curve provides a new way to evaluate models’ performance systematically, and sheds light on future studies on other frameworks for model evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google