UKP-SQuARE v3: A Platform for Multi-Agent QA Research

要約

質問応答 (QA) データセットの継続的な開発により、研究コミュニティの注目がマルチドメイン モデルに集まりました。
一般的なアプローチは、マルチ データセット モデルを使用することです。これは、複数のデータセットでトレーニングされたモデルであり、その規則性を学習し、単一のデータセットへの過剰適合を防ぎます。
しかし、GitHub や Hugging Face などのオンライン リポジトリでの QA モデルの急増により、代替手段が現実的になりつつあります。
最近の研究では、エキスパート エージェントを組み合わせることで、複数のデータセット モデルに比べてパフォーマンスが大幅に向上することが実証されました。
マルチエージェント モデルでの研究を容易にするために、QA 研究用のオンライン プラットフォームである UKP-SQuARE を拡張して、マルチエージェント システムの 3 つのファミリーをサポートします。i) エージェントの選択、ii) エージェントの早期融合、および iii) 後期
エージェントの融合。
実験を行って推論速度を評価し、マルチデータセット モデルと比較したパフォーマンスと速度のトレードオフについて議論します。
UKP-SQuARE はオープンソースであり、http://square.ukp-lab.de で公開されています。

要約(オリジナル)

The continuous development of Question Answering (QA) datasets has drawn the research community’s attention toward multi-domain models. A popular approach is to use multi-dataset models, which are models trained on multiple datasets to learn their regularities and prevent overfitting to a single dataset. However, with the proliferation of QA models in online repositories such as GitHub or Hugging Face, an alternative is becoming viable. Recent works have demonstrated that combining expert agents can yield large performance gains over multi-dataset models. To ease research in multi-agent models, we extend UKP-SQuARE, an online platform for QA research, to support three families of multi-agent systems: i) agent selection, ii) early-fusion of agents, and iii) late-fusion of agents. We conduct experiments to evaluate their inference speed and discuss the performance vs. speed trade-off compared to multi-dataset models. UKP-SQuARE is open-source and publicly available at http://square.ukp-lab.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google