Interlocking-free Selective Rationalization Through Genetic-based Learning

要約

選択的合理化のための一般的なエンドツーエンド アーキテクチャは、select-then-predict パイプラインで、予測子に供給されるハイライトを抽出するジェネレーターで構成されます。
このような協調システムは、2 つのモジュールのうちの 1 つのモジュールが優勢であるため、最適ではない平衡最小値、つまりインターロックとして知られる現象に悩まされます。
いくつかの貢献はインターロックに対処することを目的としていますが、多くの場合、特徴ベースのヒューリスティック、サンプリング、およびアドホックな正則化を導入することによって、その影響を緩和するだけです。
我々は、前述のように、学習オーバーヘッドを必要としない選択的合理化のための最初のインターロックフリーアーキテクチャである GenSPP を紹介します。
GenSPP は、遺伝的グローバル検索を介してジェネレーターとプレディクターの素のトレーニングを実行することでインターロックを回避します。
合成ベンチマークと現実世界のベンチマークでの実験により、私たちのモデルがいくつかの最先端の競合他社よりも優れていることがわかりました。

要約(オリジナル)

A popular end-to-end architecture for selective rationalization is the select-then-predict pipeline, comprising a generator to extract highlights fed to a predictor. Such a cooperative system suffers from suboptimal equilibrium minima due to the dominance of one of the two modules, a phenomenon known as interlocking. While several contributions aimed at addressing interlocking, they only mitigate its effect, often by introducing feature-based heuristics, sampling, and ad-hoc regularizations. We present GenSPP, the first interlocking-free architecture for selective rationalization that does not require any learning overhead, as the above-mentioned. GenSPP avoids interlocking by performing disjoint training of the generator and predictor via genetic global search. Experiments on a synthetic and a real-world benchmark show that our model outperforms several state-of-the-art competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google