이 모델은 개도 인식할 수 있을까요? 가중치로부터의 제로샷 모델 탐색

초록

공개된 모델 수가 증가함에 따라 대부분의 사용자 요구에 대한 사전 훈련된 온라인 모델이 아마도 있을 것입니다. 그러나 현재의 모델 검색 방법은 기본적으로 문서에서 텍스트 기반 검색이기 때문에 사용자는 관련 모델을 찾을 수 없습니다. 본 논문은 모델 메타데이터나 훈련 데이터에 액세스하지 않고도 "개"와 같은 대상 개념을 인식할 수 있는 분류 모델을 검색하는 방법인 ProbeLog를 제시합니다. 이전 프로빙 방법과는 다르게, ProbeLog는 각 모델의 각 출력 차원(logit)에 대한 기술자를 계산합니다. 이는 고정된 입력 집합(probe)에서 해당 모델의 응답을 관찰함으로써 이루어집니다. 저희 방법은 로짓 기반 검색("이와 유사한 로짓 찾기")과 제로샷, 텍스트 기반 검색("개에 해당하는 모든 로짓 찾기")을 지원합니다. 프로빙 기반 표현은 모델을 통해 여러 번의 비용이 많이 드는 피드포워드 패스를 필요로 하기 때문에, 우리는 협업 필터링을 기반으로 한 방법을 개발하여 저장소 인코딩 비용을 3배로 줄였습니다. ProbeLog가 실제 세계 및 세밀한 검색 작업에서 높은 검색 정확도를 달성하고 전체 규모의 저장소에 확장 가능하다는 것을 입증합니다.

English

With the increasing numbers of publicly available models, there are probably pretrained, online models for most tasks users require. However, current model search methods are rudimentary, essentially a text-based search in the documentation, thus users cannot find the relevant models. This paper presents ProbeLog, a method for retrieving classification models that can recognize a target concept, such as "Dog", without access to model metadata or training data. Differently from previous probing methods, ProbeLog computes a descriptor for each output dimension (logit) of each model, by observing its responses on a fixed set of inputs (probes). Our method supports both logit-based retrieval ("find more logits like this") and zero-shot, text-based retrieval ("find all logits corresponding to dogs"). As probing-based representations require multiple costly feedforward passes through the model, we develop a method, based on collaborative filtering, that reduces the cost of encoding repositories by 3x. We demonstrate that ProbeLog achieves high retrieval accuracy, both in real-world and fine-grained search tasks and is scalable to full-size repositories.

이 모델은 개도 인식할 수 있을까요? 가중치로부터의 제로샷 모델 탐색

Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights

초록

Summary

Support