APG: Adaptive Parameter Generation Network for Click-Through Rate Prediction

要約

多くの Web アプリケーションでは、深層学習ベースの CTR 予測モデル (略してディープ CTR モデル) が広く採用されています。
従来のディープ CTR モデルは静的な方法でパターンを学習します。つまり、ネットワーク パラメーターはすべてのインスタンスで同じです。
ただし、そのような方法では、基礎となる分布が異なる可能性がある各インスタンスを特徴付けることはほとんどできません。
実際には、ディープ CTR モデルの表現力が制限され、次善の結果が得られます。
この論文では、適応パラメータ生成ネットワーク (APG) と呼ばれる、効率的で効果的かつ汎用的なモジュールを提案します。このモジュールは、さまざまなインスタンスに基づいてディープ CTR モデルのパラメータをオンザフライで動的に生成できます。
広範な実験による評価結果は、APG をさまざまなディープ CTR モデルに適用でき、そのパフォーマンスを大幅に向上できることを示しています。
一方、APG は、通常のディープ CTR モデルと比較して、時間コストを 38.7%、メモリ使用量を 96.6% 削減できます。
業界のスポンサー付き検索システムに APG を導入し、それぞれ 3\% の CTR ゲインと 1\% RPM のゲインを達成しました。

要約(オリジナル)

In many web applications, deep learning-based CTR prediction models (deep CTR models for short) are widely adopted. Traditional deep CTR models learn patterns in a static manner, i.e., the network parameters are the same across all the instances. However, such a manner can hardly characterize each of the instances which may have different underlying distributions. It actually limits the representation power of deep CTR models, leading to sub-optimal results. In this paper, we propose an efficient, effective, and universal module, named as Adaptive Parameter Generation network (APG), which can dynamically generate parameters for deep CTR models on-the-fly based on different instances. Extensive experimental evaluation results show that APG can be applied to a variety of deep CTR models and significantly improve their performance. Meanwhile, APG can reduce the time cost by 38.7\% and memory usage by 96.6\% compared to a regular deep CTR model. We have deployed APG in the industrial sponsored search system and achieved 3\% CTR gain and 1\% RPM gain respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google