온디바이스 AI 칩이란? 스마트폰·노트북에 들어온 NPU의 모든 것

ChatGPT 같은 생성형 AI는 거대한 데이터센터에서 돌아간다. 그런데 요즘 스마트폰 광고를 보면 "인터넷 없이도 AI 통역", "기기에서 바로 사진 보정" 같은 문구가 등장한다. 이것이 바로 온디바이스 AI(On-device AI), 또는 **엣지 AI(Edge AI)**다. 데이터를 서버로 보내지 않고 기기 안의 전용 칩에서 직접 처리하는 방식이다.

왜 클라우드 대신 기기에서 돌리나

클라우드 AI는 강력하지만 세 가지 약점이 있다. 첫째, **지연(latency)**이다. 서버를 왕복하는 시간 때문에 실시간 통역이나 카메라 효과에는 불리하다. 둘째, 프라이버시다. 사진·음성·위치 같은 민감한 데이터를 외부로 보내야 한다. 셋째, 비용과 연결성이다. 인터넷이 끊기면 작동하지 않고, 서버 운영비도 든다.

온디바이스 AI는 이 문제를 기기 내부에서 해결한다. 대신 작은 칩으로 무거운 연산을 효율적으로 처리해야 하므로 전용 가속기가 필요하다.

NPU: 온디바이스 AI의 심장

모바일 AP(Application Processor)에는 CPU와 GPU 외에 **NPU(Neural Processing Unit)**라는 신경망 전용 연산기가 들어간다. NPU는 AI 추론에 자주 쓰이는 행렬 곱셈을 대량으로, 적은 전력으로 처리하도록 설계됐다. 애플의 Neural Engine, 퀄컴 스냅드래곤의 Hexagon, 삼성 엑시노스 등 주요 모바일 칩에 모두 탑재돼 있다.

PC로 번진 'AI PC' 흐름

2024~2025년부터 노트북에도 NPU가 기본 탑재되기 시작했다. 인텔, AMD, 퀄컴이 NPU 성능을 **TOPS(초당 조 단위 연산)**로 경쟁한다. 마이크로소프트가 일정 TOPS 이상의 NPU를 갖춘 PC를 'Copilot+ PC'로 분류하면서, NPU 성능이 노트북 마케팅의 핵심 지표가 됐다.

한계와 보완: 하이브리드 AI

온디바이스 칩은 데이터센터 GPU만큼 큰 모델을 돌릴 수 없다. 그래서 가벼운 작업은 기기에서, 무거운 작업은 클라우드에서 처리하는 하이브리드 AI가 현실적인 해법으로 자리 잡고 있다. 작은 모델을 기기 메모리에 맞게 압축하는 경량화(quantization) 기술도 함께 발전 중이다.

핵심 요약

• 온디바이스 AI는 데이터를 서버로 보내지 않고 기기 내부 칩에서 직접 처리한다.
• 핵심 하드웨어는 신경망 전용 연산기인 NPU이며, 적은 전력으로 AI 추론을 가속한다.
• 장점은 지연 감소·오프라인 동작·프라이버시, 약점은 모델 크기 제한이다.
• PC 시장에서는 NPU 성능을 TOPS로 경쟁하며 'AI PC' 트렌드를 이끌고 있다.

한 줄 정리: 온디바이스 AI는 'AI를 클라우드에서 빌려 쓰던 시대'에서 '내 기기가 직접 AI를 돌리는 시대'로의 전환을 의미한다.