문서에 물들다: 스케일링 Reranker 추론의 결과

Drowning in Documents: Consequences of Scaling Reranker Inference

November 18, 2024

저자: Mathew Jacob, Erik Lindgren, Matei Zaharia, Michael Carbin, Omar Khattab, Andrew Drozdov

cs.AI

초록

재순위 지정기인 일반적으로 크로스 인코더는 초기 IR 시스템으로 검색된 문서들을 다시 점수 매기는 데 자주 사용됩니다. 이는 비용이 비싸지만 재순위 지정기가 더 효과적이라고 가정되기 때문입니다. 우리는 이 가정에 도전하여 재순위 지정기의 성능을 측정함으로써 첫 번째 단계 검색만 다시 점수 매기는 것이 아니라 전체 검색에 대해 살펴보았습니다. 우리의 실험 결과는 놀랄 만한 추세를 보여줍니다: 현재 가장 우수한 재순위 지정기들이 점차적으로 더 많은 문서들에 대해 점수를 매길 때 점차적으로 감소하는 성과를 보이며 특정 한계를 넘어서면 실제로 품질을 저하시킵니다. 사실, 이러한 상황에서 재순위 지정기는 쿼리와 어휘적 또는 의미적 중첩이 전혀 없는 문서에 높은 점수를 자주 부여할 수 있습니다. 우리는 이러한 발견이 재순위 지정기를 개선하기 위한 미래 연구를 촉진할 것으로 기대합니다.

English

Rerankers, typically cross-encoders, are often used to re-score the documents retrieved by cheaper initial IR systems. This is because, though expensive, rerankers are assumed to be more effective. We challenge this assumption by measuring reranker performance for full retrieval, not just re-scoring first-stage retrieval. Our experiments reveal a surprising trend: the best existing rerankers provide diminishing returns when scoring progressively more documents and actually degrade quality beyond a certain limit. In fact, in this setting, rerankers can frequently assign high scores to documents with no lexical or semantic overlap with the query. We hope that our findings will spur future research to improve reranking.