AI 학습용 칩과 추론용 칩은 왜 다를까

AI 반도체 시장을 이해하려면 두 단어를 구분해야 한다. **학습(training)**과 **추론(inference)**이다. 둘은 요구하는 칩의 성격이 다르고, 시장의 성장 방향도 다르다. 학교에 빗대면 쉽게 잡힌다.

학습 = 공부하는 단계

학습은 AI 모델이 데이터를 보며 똑똑해지는 과정이다. 수많은 예시를 반복해서 보고, 정답과 비교하며 내부 가중치를 조금씩 고친다. 시험을 위해 방대한 교재를 수없이 반복하는 학생과 같다.

이 단계는 ①엄청난 양의 연산을, ②높은 정밀도로, ③오랜 시간(며칠몇 주) 돌려야 한다. 그래서 가장 강력한 GPU·가속기를 수천수만 장 묶어 쓴다. 메모리도 많이, 빠르게(HBM) 필요하다. 엔비디아가 이 시장을 사실상 장악하고 있다.

추론 = 배운 걸 써먹는 단계

추론은 다 배운 모델이 실제로 답을 내놓는 과정이다. 챗봇에 질문하면 답하는 것, 사진을 보고 분류하는 것이 모두 추론이다. 시험을 치르거나 배운 지식을 현장에서 쓰는 단계다.

추론은 학습보다 한 번의 연산량은 적지만, 사용자가 쓸 때마다 매번 일어난다. 그래서 ①빠른 응답(지연 최소화), ②낮은 전력·비용이 중요하다. 사용자가 많아질수록 추론 횟수가 폭증하기 때문이다.

왜 추론 시장이 더 커질까

모델 하나를 학습하는 건 가끔이지만, 그 모델을 수억 명이 매일 쓰면 추론은 끝없이 일어난다. AI 서비스가 일상에 퍼질수록 추론 수요가 학습을 압도할 것이라는 전망이 많다. 이 때문에 추론에 특화된 저전력·저비용 칩, 맞춤형 가속기(ASIC), 효율 좋은 NPU에 대한 관심이 커지고 있다.

새로운 경쟁 구도

학습 시장은 엔비디아의 아성이 견고하지만, 추론 시장은 비교적 진입 여지가 있다고 평가된다. 구글·아마존 등 빅테크가 자체 추론 칩(맞춤형 ASIC)을 만들고, 여러 스타트업이 효율 좋은 추론 칩으로 도전하는 이유다. '추론 비용을 누가 더 싸게 만드느냐'가 AI 사업의 수익성을 가르는 핵심 변수로 떠올랐다.

한 줄 정리

학습은 가끔 일어나지만 최대 연산력이 필요하고, 추론은 사용 때마다 일어나 빠른 응답·저비용이 중요하며, AI 대중화로 추론 시장이 더 빠르게 커질 것으로 전망된다.