하이브리드 CPU에서 성능 최적화를 위한 동적 병렬 방법

A dynamic parallel method for performance optimization on hybrid CPUs

November 29, 2024

저자: Luo Yu, Liu Yucheng, Shen Haihao

cs.AI

초록

AIPC 개념이 인기를 얻고 있으며 더 많은 하이브리드 CPU가 클라이언트 장치에서 AI 모델을 실행할 것입니다. 그러나 현재의 AI 추론 프레임워크는 하이브리드 CPU의 불균형한 하드웨어 성능을 간과하여 추론 성능이 낮아지는 문제가 있습니다. 이 문제를 해결하기 위해, 우리는 하이브리드 CPU에 대한 동적 병렬 방법을 소개했으며, 이는 병렬 작업이 시작되기 전에 하이브리드 CPU의 각 코어에 대한 작업 부하를 균형있게 조절하여 LLM 추론 성능을 크게 향상시켰습니다. 이 방법을 통해 Neural Speed는 두 개의 하이브리드 Intel CPU에서 평균 90% 이상의 메모리 대역폭을 달성하였습니다.

English

The AIPC concept is gaining popularity, and more and more hybrid CPUs will be running AI models on client devices. However, the current AI inference framework overlooks the imbalanced hardware capability of hybrid CPUs, leading to low inference performance. To address this issue, we have introduced a dynamic parallel method for hybrid CPUs, which significantly increases LLM inference performance by balancing the workload for each core of a hybrid CPU before the parallel work starts. This method has enabled Neural Speed to achieve more than 90% (on average) of memory bandwidth on two hybrid Intel CPUs.