Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs

要約

マルチタスク学習 (MTL) は、タスクの関連性を活用してパフォーマンスを向上させます。
マルチモーダル データの出現により、タスクを複数のインデックスで参照できるようになりました。
この論文では、タスク インデックスに対応する各モードを持つ高次テンソルを使用して、複数のインデックスによって参照されるタスクを自然に表現し、それらの構造的関係を保存します。
この表現に基づいて、テンソル化サポート ベクター マシン (SVM) と最小二乗サポート ベクター マシン (LSSVM) を使用した低ランク MTL 法の一般的なフレームワークを提案します。このフレームワークでは、CP 分解が係数テンソル上に展開されます。
私たちのアプローチでは、タスク固有の要因で重み付けされた共有要因の線形結合を通じてタスク関係をモデル化することができ、分類問題と回帰問題の両方に一般化されます。
交互の最適化スキームとラグランジュ関数を通じて、各部分問題は凸問題に変換され、二次計画法または双対形式の線形システムとして定式化されます。
以前の MTL フレームワークとは対照的に、双対の決定関数は、タスク固有の要素の類似性によって特徴付けられるタスク結合項を使用して重み付けされたカーネル関数を誘導し、MTL のタスク間の明示的な関係をより明確に明らかにします。
実験結果は、MTL における既存の最先端のアプローチと比較して、私たちが提案する方法の有効性と優位性を検証します。
実装コードは https://github.com/liijiani0216/TSVM-MTL で入手できます。

要約(オリジナル)

Multitask learning (MTL) leverages task-relatedness to enhance performance. With the emergence of multimodal data, tasks can now be referenced by multiple indices. In this paper, we employ high-order tensors, with each mode corresponding to a task index, to naturally represent tasks referenced by multiple indices and preserve their structural relations. Based on this representation, we propose a general framework of low-rank MTL methods with tensorized support vector machines (SVMs) and least square support vector machines (LSSVMs), where the CP factorization is deployed over the coefficient tensor. Our approach allows to model the task relation through a linear combination of shared factors weighted by task-specific factors and is generalized to both classification and regression problems. Through the alternating optimization scheme and the Lagrangian function, each subproblem is transformed into a convex problem, formulated as a quadratic programming or linear system in the dual form. In contrast to previous MTL frameworks, our decision function in the dual induces a weighted kernel function with a task-coupling term characterized by the similarities of the task-specific factors, better revealing the explicit relations across tasks in MTL. Experimental results validate the effectiveness and superiority of our proposed methods compared to existing state-of-the-art approaches in MTL. The code of implementation will be available at https://github.com/liujiani0216/TSVM-MTL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google