Did You Mean…? Confidence-based Trade-offs in Semantic Parsing

要約

タイトル：Did You Mean…？信頼度ベースのセマンティックパージングにおけるトレードオフ

要約：

– キャリブレーションされたモデルが、タスク指向のパージングにおける一般的なトレードオフをバランスするのに役立つことが示された。
– 記述者が参加するシミュレーション実験において、良好にキャリブレーションされた信頼スコアにより、コストとアノテーター負荷とをバランスすることができ、少数の対話によって精度を向上させることができることが示された。
– 信頼スコアがどのように利用性と安全性のトレードオフを最適化するのに役立つかを調査した。信頼度ベースの閾値設定は、誤った低信頼度プログラムの実行回数を大幅に減らすことができるが、これは利用性のコストがかかる。DidYouMeanシステムを提案し、利用性と安全性をよりバランス良くすることができる。

要約(オリジナル)

We illustrate how a calibrated model can help balance common trade-offs in task-oriented parsing. In a simulated annotator-in-the-loop experiment, we show that well-calibrated confidence scores allow us to balance cost with annotator load, improving accuracy with a small number of interactions. We then examine how confidence scores can help optimize the trade-off between usability and safety. We show that confidence-based thresholding can substantially reduce the number of incorrect low-confidence programs executed; however, this comes at a cost to usability. We propose the DidYouMean system which better balances usability and safety.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI