Оценка качества перевода с использованием раннего прерывания и мгновенной уверенности

Early-Exit and Instant Confidence Translation Quality Estimation

February 20, 2025

Авторы: Vilém Zouhar, Maike Züfle, Beni Egressy, Julius Cheng, Jan Niehues

cs.AI

Аннотация

Оценка качества является повсеместной в машинном переводе, как для оценки, так и для генерации. К сожалению, модели оценки качества часто непрозрачны и вычислительно затратны, что делает их непрактичными для включения в масштабные конвейеры. В данной работе мы решаем две связанные задачи: (1) снижение стоимости оценки качества в масштабе и (2) разработка недорогого метода оценки неопределенности для оценки качества. Для решения последней задачи мы представляем модель оценки качества Instant Confidence COMET, учитывающую неопределенность, которая соответствует производительности предыдущих подходов при доле их затрат. Мы расширяем это до Early-Exit COMET, модели оценки качества, способной вычислять оценки качества и связанные уверенности уже на ранних слоях модели, что позволяет нам досрочно завершать вычисления и снижать затраты на оценку. Мы также применяем нашу модель к переупорядочиванию машинного перевода. Мы комбинируем Early-Exit COMET с алгоритмом бандита верхней доверительной границы для поиска лучшего кандидата из большого пула без необходимости запуска полной модели оценки на всех кандидатах. В обоих случаях (оценка и переупорядочивание) наши методы снижают требуемые вычисления на 50% при очень незначительном ухудшении производительности.

English

Quality estimation is omnipresent in machine translation, for both evaluation and generation. Unfortunately, quality estimation models are often opaque and computationally expensive, making them impractical to be part of large-scale pipelines. In this work, we tackle two connected challenges: (1) reducing the cost of quality estimation at scale, and (2) developing an inexpensive uncertainty estimation method for quality estimation. To address the latter, we introduce Instant Confidence COMET, an uncertainty-aware quality estimation model that matches the performance of previous approaches at a fraction of their costs. We extend this to Early-Exit COMET, a quality estimation model that can compute quality scores and associated confidences already at early model layers, allowing us to early-exit computations and reduce evaluation costs. We also apply our model to machine translation reranking. We combine Early-Exit COMET with an upper confidence bound bandit algorithm to find the best candidate from a large pool without having to run the full evaluation model on all candidates. In both cases (evaluation and reranking) our methods reduce the required compute by 50% with very little degradation in performance.