Building Real-World Meeting Summarization Systems using Large Language Models: A Practical Perspective

要約

この論文では、大規模言語モデル (LLM) を使用して、現実世界で使用できる会議要約システムを効果的に構築する方法を研究します。
この目的のために、私たちはさまざまなクローズドソースおよびオープンソース LLM、つまり GPT-4、GPT-3.5、PaLM-2、および LLaMA-2 の広範な評価と比較を実行します。
私たちの調査結果では、ほとんどのクローズドソース LLM が一般にパフォーマンスの点で優れていることが明らかになりました。
ただし、LLaMA-2 (7B および 13B) のようなはるかに小規模なオープンソース モデルは、ゼロショット シナリオでも大規模なクローズド ソース モデルと同等のパフォーマンスを達成できます。
API 経由でのみアクセスできるクローズドソース モデルのプライバシー上の懸念と、クローズドソース モデルの微調整バージョンの使用に伴うコストを考慮すると、競争力のあるパフォーマンスを達成できるオープンソース モデルの方が産業用途には有利です。
パフォーマンスと関連するコストおよびプライバシーの懸念とのバランスを考慮すると、LLaMA-2-7B モデルは産業用途でより有望に見えます。
要約すると、このホワイトペーパーは、実際のビジネス会議の要約に LLM を使用することに関する実用的な洞察を提供し、パフォーマンスとコストの間のトレードオフを明らかにします。

要約(オリジナル)

This paper studies how to effectively build meeting summarization systems for real-world usage using large language models (LLMs). For this purpose, we conduct an extensive evaluation and comparison of various closed-source and open-source LLMs, namely, GPT-4, GPT- 3.5, PaLM-2, and LLaMA-2. Our findings reveal that most closed-source LLMs are generally better in terms of performance. However, much smaller open-source models like LLaMA- 2 (7B and 13B) could still achieve performance comparable to the large closed-source models even in zero-shot scenarios. Considering the privacy concerns of closed-source models for only being accessible via API, alongside the high cost associated with using fine-tuned versions of the closed-source models, the opensource models that can achieve competitive performance are more advantageous for industrial use. Balancing performance with associated costs and privacy concerns, the LLaMA-2-7B model looks more promising for industrial usage. In sum, this paper offers practical insights on using LLMs for real-world business meeting summarization, shedding light on the trade-offs between performance and cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google