프롬트리버: 지시로 훈련된 리트리버는 언어 모델처럼 프롬프트될 수 있습니다.

Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models

September 17, 2024

저자: Orion Weller, Benjamin Van Durme, Dawn Lawrie, Ashwin Paranjape, Yuhao Zhang, Jack Hessel

cs.AI

초록

지시에 맞게 조정된 언어 모델(LM)은 기본 모델과 비교하여 더 자연스러운 사용자 인터페이스를 제공하여 명령에 응답할 수 있습니다. 본 연구에서는 우리는 Promptriever를 제시합니다. 이는 LM처럼 프롬프트를 받을 수 있는 첫 번째 검색 모델입니다. Promptriever를 훈련시키기 위해 우리는 MS MARCO로부터 약 500k의 인스턴스를 포함하는 새로운 인스턴스 수준의 지시 훈련 세트를 선별하고 공개합니다. Promptriever는 표준 검색 작업에서 강력한 성능을 달성할 뿐만 아니라 지시를 따릅니다. 우리는 다음을 관찰합니다: (1) 상세한 관련성 지시를 따르는 데 큰 이득(평균 순위 재현율에서 +14.3 p-MRR / +3.1 nDCG), (2) 쿼리+지시에서 어휘 선택/구문에 대한 강한 강인성 증가(+12.9 InstructIR에서 Robustness@10), 그리고 (3) 프롬프트를 통해 하이퍼파라미터 검색을 수행하여 검색 성능을 신뢰성 있게 향상시킬 수 있는 능력(+1.4 BEIR에서 평균 증가). Promptriever는 검색 모델이 쿼리별로 프롬프트로 제어될 수 있음을 보여주며, LM 프롬프팅 기술을 정보 검색과 조화시키는 미래 작업을 위한 기반을 마련합니다.

English

Instruction-tuned language models (LM) are able to respond to imperative commands, providing a more natural user interface compared to their base counterparts. In this work, we present Promptriever, the first retrieval model able to be prompted like an LM. To train Promptriever, we curate and release a new instance-level instruction training set from MS MARCO, spanning nearly 500k instances. Promptriever not only achieves strong performance on standard retrieval tasks, but also follows instructions. We observe: (1) large gains (reaching SoTA) on following detailed relevance instructions (+14.3 p-MRR / +3.1 nDCG on FollowIR), (2) significantly increased robustness to lexical choices/phrasing in the query+instruction (+12.9 Robustness@10 on InstructIR), and (3) the ability to perform hyperparameter search via prompting to reliably improve retrieval performance (+1.4 average increase on BEIR). Promptriever demonstrates that retrieval models can be controlled with prompts on a per-query basis, setting the stage for future work aligning LM prompting techniques with information retrieval.