Auxiliary Tasks to Boost Biaffine Semantic Dependency Parsing

要約

Dozat と Manning (2017) のビアフィン パーサーは、セマンティック依存関係解析 (SDP) への拡張に成功しました (Dozat と Manning、2018)。
ツリーを生成するという制約がなく、特定の文のすべてのアークが互いに独立して (トークンの共有表現を法として) 予測されるため、グラフ上でのパフォーマンスは驚くほど高くなります。
O(n^2) の複雑さと高度に並列化可能なアーキテクチャを維持しながら、このような決定の独立性を回避するために、アーク間に何らかの形の相互依存性を導入する単純な補助タスクを使用することを提案します。
SemEval 2015 タスク 18 の 3 つの英語の非巡回データセット (Oepen et al., 2015) とフランス語の深い構文巡回グラフ (Ribeyre et al., 2014) の実験では、ほぼ現状の状態で、控えめではあるが体系的なパフォーマンスの向上が示されています。
– トランスフォーマーベースのコンテキスト化された表現を使用したアート ベースライン。
これにより、SDP パフォーマンスを向上させるためのシンプルかつ堅牢な方法が提供されます。

要約(オリジナル)

The biaffine parser of Dozat and Manning (2017) was successfully extended to semantic dependency parsing (SDP) (Dozat and Manning, 2018). Its performance on graphs is surprisingly high given that, without the constraint of producing a tree, all arcs for a given sentence are predicted independently from each other (modulo a shared representation of tokens). To circumvent such an independence of decision, while retaining the O(n^2) complexity and highly parallelizable architecture, we propose to use simple auxiliary tasks that introduce some form of interdependence between arcs. Experiments on the three English acyclic datasets of SemEval 2015 task 18 (Oepen et al., 2015), and on French deep syntactic cyclic graphs (Ribeyre et al., 2014) show modest but systematic performance gains on a near state-of-the-art baseline using transformer-based contextualized representations. This provides a simple and robust method to boost SDP performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google