UKP-SQuARE v3: A Platform for Multi-Agent QA Research

要約

タイトル：UKP-SQuARE v3：マルチエージェントQA研究のプラットフォーム
要約：
– QAのデータセットの持続的な開発は、多ドメインモデルに研究コミュニティの注目を集めています。
– 広く使われているアプローチは、複数のデータセットで学習するマルチデータセットモデルを使用することです。
– しかし、GitHubやHugging FaceなどのオンラインリポジトリにおけるQAモデルの急増から、代替策が可能になっています。
– 最近の研究では、専門家エージェントを組み合わせることで、マルチデータセットモデルよりも大きな性能向上が得られることが示されています。
– マルチエージェントモデルの研究を容易にするために、UKP-SQuAREを拡張しました。
– このオンラインプラットフォームは3種類のマルチエージェントシステムをサポートしています。
– エージェント選択
– エージェントの早期統合
– エージェントの遅延統合
– 推論速度を評価し、マルチデータセットモデルとのパフォーマンスと速度のトレードオフについて議論します。
– UKP-SQuAREはオープンソースであり、 http://square.ukp-lab.deで公開されています。

要約(オリジナル)

The continuous development of Question Answering (QA) datasets has drawn the research community’s attention toward multi-domain models. A popular approach is to use multi-dataset models, which are models trained on multiple datasets to learn their regularities and prevent overfitting to a single dataset. However, with the proliferation of QA models in online repositories such as GitHub or Hugging Face, an alternative is becoming viable. Recent works have demonstrated that combining expert agents can yield large performance gains over multi-dataset models. To ease research in multi-agent models, we extend UKP-SQuARE, an online platform for QA research, to support three families of multi-agent systems: i) agent selection, ii) early-fusion of agents, and iii) late-fusion of agents. We conduct experiments to evaluate their inference speed and discuss the performance vs. speed trade-off compared to multi-dataset models. UKP-SQuARE is open-source and publicly available at http://square.ukp-lab.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI