LLM 모듈: 향상된 교차 주의를 활용하여 대규모 모델로부터 소규모 모델로의 지식 전이

LLM Modules: Knowledge Transfer from a Large to a Small Model using Enhanced Cross-Attention

February 12, 2025

저자: Konstantin Kolomeitsev

cs.AI

초록

본 연구에서는 향상된 교차-주의 메커니즘을 활용하여 대규모 사전 훈련 모델로부터 지식을 전달하는 LLM 모듈의 구조를 제안합니다. 제안된 방법에서는 Qwen2-1.5B 모델이 고정되고 그 표현이 특별히 설계된 주의층을 통해 한정된 계산 자원으로 훈련된 GPT-Neo-125M 모델로 전달됩니다. Bespoke-Stratos-17k 데이터셋에 대한 실험 결과는 15회의 에폭 후 결합된 모델이 증류에 의해 얻은 것과 유사한 품질의 응답을 생성함을 보여줍니다. 우리는 모듈식 접근법의 장점을 논의하고 입력 쿼리와 비교 분석의 예를 제시하며, 해당 방법의 추가적인 확장 가능성에 대해 개요를 제시합니다.

English

In this work, we propose an architecture of LLM Modules that enables the transfer of knowledge from a large pre-trained model to a smaller model using an Enhanced Cross-Attention mechanism. In the proposed scheme, the Qwen2-1.5B model is frozen and its representations are passed through specially designed attention layers to the GPT-Neo-125M model, which is trained on limited computational resources. Experimental results on the Bespoke-Stratos-17k dataset demonstrate that after 15 epochs of training, the combined model generates responses comparable in quality to those obtained by distillation. We discuss the advantages of the modular approach, provide examples of input queries and comparative analysis, and outline prospects for further extension of the method.