Boosting Multitask Learning on Graphs through Higher-Order Task Affinities

要約

特定のグラフ上のノード ラベルの予測は、コミュニティ検出や分子グラフ予測など、多くのアプリケーションで広く研究されている問題です。
この論文では、グラフ上の複数のノードのラベリング関数を同時に予測することを検討し、マルチタスク学習の観点からこの問題を再考察します。
具体的な例として、重複するコミュニティの検出を考えてみましょう。各コミュニティ メンバーシップはバイナリ ノード分類タスクです。
複雑な重複パターンにより、単純なマルチタスク学習を複数のコミュニティ検出に適用すると、タスクの関係が異なるノードのラベル間で高度に非線形になるため、負の転送が蔓延していることがわかります。
この課題に対処するために、高次のタスクの親和性の尺度に基づいてタスクをグループにクラスター化するアルゴリズムを開発しました。
次に、各タスク グループにマルチタスク モデルを適合させ、ベースライン モデルに加えてブースティング手順を実行します。
2 つのタスク間の高次タスクの親和性の尺度を、別のタスクと他のタスクのランダムなサブセットが存在する場合の 1 つのタスクの予測損失として推定します。
次に、アフィニティ スコア マトリックスでスペクトル クラスタリングを使用して、タスクのグループ化を特定します。
高次のアフィニティ スコアを効率的に計算するためのいくつかの高速化手法を設計し、ペアワイズ タスク アフィニティよりも正確に負の転送を予測できることを示します。
さまざまなコミュニティ検出および分子グラフ予測データセットを使用して手順を検証し、既存の方法と比較して良好な結果を示しました。
最後に、グラフ上のタスクの植え付けられたブロック モデルの下で、親和性スコアがタスクをグループに分類できることを証明する理論的分析を提供します。

要約(オリジナル)

Predicting node labels on a given graph is a widely studied problem with many applications, including community detection and molecular graph prediction. This paper considers predicting multiple node labeling functions on graphs simultaneously and revisits this problem from a multitask learning perspective. For a concrete example, consider overlapping community detection: each community membership is a binary node classification task. Due to complex overlapping patterns, we find that negative transfer is prevalent when we apply naive multitask learning to multiple community detection, as task relationships are highly nonlinear across different node labeling. To address the challenge, we develop an algorithm to cluster tasks into groups based on a higher-order task affinity measure. We then fit a multitask model on each task group, resulting in a boosting procedure on top of the baseline model. We estimate the higher-order task affinity measure between two tasks as the prediction loss of one task in the presence of another task and a random subset of other tasks. Then, we use spectral clustering on the affinity score matrix to identify task grouping. We design several speedup techniques to compute the higher-order affinity scores efficiently and show that they can predict negative transfers more accurately than pairwise task affinities. We validate our procedure using various community detection and molecular graph prediction data sets, showing favorable results compared with existing methods. Lastly, we provide a theoretical analysis to show that under a planted block model of tasks on graphs, our affinity scores can provably separate tasks into groups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google