GPU의 막대한 연산 능력은 이들을 사실상 ‘AI 칩’의 대명사로 만들었고, Nvidia는 그 결과 세계에서 가장 높은 기업가치를 가진 기술 기업 중 하나로 부상했다. 그러나 미래는 어떤 방향으로 흘러갈까? AI 하드웨어의 향방을 결정지을 주요 트렌드는 무엇일까? 새롭게 시장에 진입하는 플레이어들은 누구이며, 어떤 기술이 최종적으로 표준으로 자리 잡게 될까? 이 글에서는 AI 하드웨어의 세계를 깊이 탐색하는 여정으로 여러분을 초대하고자 한다. 지금 이 산업에서 벌어지고 있는 변화의 흐름과 그 잠재적 시사점을 함께 살펴보자.
1. 지속되는 AI 열풍- 딥시크 쇼크와 엔비디아의 전망
2025년 1월, 중국 AI 스타트업 DeepSeek가 최신 언어 모델을 공개하자, 이는 전 세계에 강한 충격을 던졌다. 발표 직후 미국 반도체 대기업 엔비디아의 주가는 급락했고, 하루 만에 시가총액의 17% — 약 6000억 달러가 증발했다. 이는 단일 기업 기준으로 미국 주식시장 사상 가장 큰 하루 손실 기록이었다. 이 충격은 단순한 일회성 사건이 아니었다.
시장에는 당연한 의문이 제기되었다. 과연 비슷한 상황이 앞으로 다시 일어날 수 있을까? 만약 그렇다면, 그 충격은 더욱 크고 오래 지속되며, 더 강력할 수도 있지 않을까? 특히 시장의 공포심을 부른 것은 DeepSeek의 저렴한 개발 비용이었다. 보도에 따르면 해당 언어 모델은 약 600만 달러에 개발된 것으로 전해지며, 이는 유사한 규모의 대형 언어 모델 대비 현저히 저렴한 수준이었다.
그러나 질문은 이어진다. “과연 향후에도 고성능 칩 없이 동일한 결과를 얻을 수 있을까?”에 대한 의문이다.
사실 충격은 시간이 지나면서 서서히 흡수되었고, 기술 업계는 여전히 AI 붐을 향한 열기를 이어가고 있다. 방대한 데이터, 알고리즘 혁신, 주요 기술 기업들의 수십억 달러 투자에 힘입어, AI는 여전히 메가트렌드의 중심에 자리하고 있다. 미국 정부는 향후 4년간 AI 인프라에 5000억 달러를 투자하겠다고 발표했으며, EU도 2000억 유로 규모의 InvestAI 구상으로 유럽 내 AI 역량을 강화하겠다고 발표했다.
현재 다양한 산업 영역 — 헬스케어, 금융, 제조업, 크리에이티브 분야 등 에서 대형 언어 모델(LLM), 자율 시스템, 이미지 및 영상 AI의 활용이 확산되고 있다.
이 같은 발전의 주요 수혜자이자 기반 인프라 제공자는 여전히 엔비디아다. 엔비디아는 원래 게임 산업용 GPU(그래픽 처리 장치) 개발사였지만, 남보다 먼저 AI 대규모 연산의 병렬 처리와 유연성을 효과적으로 활용할 수 있음을 깨달으면서, GPU는 곧 AI 응용의 사실상 표준 칩이 되었다.
현재 전 세계 GPU 시장에서 엔비디아는 약 90%의 점유율을 차지하며 압도적인 지위를 유지하고 있다. 이는 게임용 GPU뿐만 아니라 데이터센터용 AI 연산 GPU에서도 마찬가지다. 나머지 10%는 거의 대부분 미국 캘리포니아에 본사를 둔 경쟁사 AMD가 점유하고 있다. 엔비디아의 미래 또한 밝아 보인다. 회사 측에서는 2024년 대비 올해 매출이 50%이상 증가할 것으로 전망하고 있으며, 2024년 한 해 동안만 무려 1,304억 달러의 사상 최대 매출을 기록했다.
2. GPU의 대안, ASIC은 언제 유리한가?
AI 분야에서 GPU 수요가 폭발적으로 증가하고 있는 이유는 무엇일까? 그리고 GPU 외에 주목할 만한 대안은 없는가? 이 질문에 답하기 위해서는 우선 GPU가 가진 기술적 특성을 들여다볼 필요가 있다. GPU는 병렬 처리(Parallel Processing) 아키텍처 덕분에 여러 계산을 동시에 수행할 수 있다. 이 덕분에 대용량 데이터를 신속하게 병렬로 처리할 수 있어 AI 학습(Training) 단계에 특히 적합하다. AI 학습이란, 텍스트, 이미지, 오디오와 같은 정보를 수치화 된 데이터로 변환하고, 이를 바탕으로 모델이 패턴을 학습하고 인식하는 과정을 말한다. 모델이 학습을 마친 뒤에는 새로운 데이터를 분석하고 예측하는 역할을 수행하며, 이처럼 학습된 AI 모델이 사용자 입력(Prompt)에 반응해 결과를 생성하는 단계를 ‘추론(Inference)’이라고 부른다.
추론 단계에서도 GPU는 매우 중요한 역할을 한다. 빠르고 병렬적인 연산을 통해 실시간으로 결과를 생성해야 하기 때문이다. 게다가 GPU는 유연성이 높고 확장성이 뛰어나 다양한 알고리즘과 AI 모델에 광범위하게 활용될 수 있다. 이러한 특성 덕분에 GPU는 특히 AWS, Microsoft Azure와 같은 퍼블릭 클라우드 환경에서 범용 컴퓨팅 작업(General Public Workloads)에 이상적인 도구로 자리 잡고 있다. 예를 들어, 상품 추천 시스템, 생성형 영상 콘텐츠, 실시간 음성 인식 등 다양한 AI 목적을 위해 GPU 연산 자원을 임대할 수 있다.
GPU와 비교되는 대안으로는 ASIC(Application-Specific Integrated Circuit)이 있다. 이름 그대로 ASIC은 특정 목적에 맞게 설계된 전용 반도체다. 맞춤형 하드웨어 설계를 기반으로 특정 알고리즘이나 기능을 고효율로 수행할 수 있으며, 예를 들어 AI 모델의 특정 훈련 작업이나 비트코인 채굴처럼 정해진 연산만 반복하는 환경에서는 최고의 성능과 에너지 효율을 제공한다.
이 때문에 ASIC은 다음과 같은 용도에 적합하다 :
- 특정 기업 내부에서 반복적으로 사용하는 AI 연산
- 전용 하드웨어 인프라에서 구동되는 폐쇄형 워크로드
하지만 ASIC의 효율성은 사용 유연성의 제한이라는 단점과 맞물려 있다. GPU처럼 다양한 목적에 쓰기 어렵고, 설계 및 생산 비용이 크며, 특정 코드에 특화되어 있어 범용성은 낮다.
Google, Amazon 같은 초대형 클라우드 사업자(Hyperscalers)는 특정 워크로드에 대한 수요 예측이 가능하고, 예상된 수요에 맞춰 인프라를 최적화해 운영할 수 있기 때문에 ASIC이 유리한 선택지가 될 수 있다. 총 생애주기 비용(TCO, Total Cost of Ownership) 측면에서도, 에너지 효율성과 인프라 통제력 덕분에 ASIC이 매력적이다. 대표적으로 Google의 TPU(Tensor Processing Unit)나 Bitmain Technologies의 Antminer와 같은 사례가 있다.
FPGA(Field-Programmable Gate Arrays)는 AI 분야에서 활용되는 또 다른 유형의 반도체다. FPGAs는 GPU와 ASIC 사이의 하이브리드 솔루션에 가깝다. 한편으로는 일정 수준의 ‘전용화(Specialization)’가 가능해 GPU 대비 비용 효율을 확보할 수 있으며, 다른 한편으로는 사용 중 재프로그래밍이 가능하여 ASIC보다 높은 유연성도 제공한다. 그러나 전체 AI 반도체 시장에서 FPGAs는 상대적으로 보조적인 역할에 머물고 있다.
3. AI 하드웨어의 미래 - GPU 잠재적 경쟁 기업을 중심으로
AI 하드웨어의 미래를 가늠하기 위해서는 무엇보다 칩 제조사의 주요 고객들이 누구인지에 주목해야 한다. 예를 들어, 엔비디아는 전체 매출의 약 50%를 AWS, Microsoft 등 대형 클라우드 사업자로부터 거두고 있다. 따라서 이들 클라우드 사업자가 전략을 바꾸거나 칩 인프라에 대한 방향성을 조정할 경우, 이는 곧 시장 내 기술 구도의 변화로 이어질 수 있으며, 엔비디아에도 직접적인 영향을 미칠 수 있다.
이러한 전략 변화의 가능성은 새로운 경쟁 구도를 형성할 수 있는 단초가 되며, 일부 징후는 이미 나타나고 있다.
AMD
앞서 언급했듯이, AMD는 현재 전 세계 GPU 시장의 약 10%를 차지하며 사실상 엔비디아의 유일한 직접 경쟁자로 평가받고 있다. AMD의 GPU는 상대적으로 가격이 저렴하고, 동일한 가격대에서 더 많은 VRAM(비디오 메모리)을 제공하기 때문에 중간 가격대 시장에서는 매력적인 대안으로 떠오르고 있다. 반면, 엔비디아의 강점은 높은 연산 효율성과 전반적인 성능, 그리고 이러한 성능이 반영된 프리미엄 가격대에 있다.
하지만 진짜 차별화 포인트는 하드웨어 자체가 아니라 소프트웨어 생태계, 즉 개발 환경과 프로그래밍 인터페이스에 있다. AI 모델 학습이나 과학적 시뮬레이션 등 고성능 연산을 요하는 작업을 효율적으로 실행하려면 GPU의 성능을 최적화할 수 있는 프로그래밍 툴킷과 인터페이스가 필요하다.
엔비디아의 CUDA는 이 분야에서 독보적이다. 2006년 출시된 이후 지금까지 TensorFlow, PyTorch, Stable Diffusion 등 대부분의 주요 AI 프레임워크에서 기본적으로 지원되고 있다. 반면, AMD의 RocM은 지원 범위가 제한적이다. RocM은 AMD의 모든 GPU에서 작동하는 것이 아니라, 주로 고급형·전문가용 GPU에서만 사용 가능하다. 이는 호환성과 범용성 측면에서 단점이 된다. 게다가 CUDA는 cuDNN, CUDA Graphs 등 풍부한 개발자 도구 생태계를 제공하지만, AMD는 현재 이와 동등한 수준의 개발 툴을 제공하지 못하고 있다.
이러한 차이점들로 인해, GPU 기반 AI 개발 환경에서 엔비디아가 사실상 ‘개발자들의 기본 선택지’로 자리 잡은 이유가 설명된다.
Intel
미국 산타클라라에 본사를 둔 인텔(Intel)은 전통적으로 중앙처리장치(CPU) 생산에 집중해온 기업이다. 이들은 서버 운영을 위한 핵심 칩을 제공하며, 그 중에는 엔비디아의 GPU와 함께 사용되는 서버용 CPU도 포함된다. CPU는 프로그램 로딩이나 운영체제 제어 등 범용 연산을 빠르게 처리하도록 설계된 칩이다. 반면, GPU는 수많은 소형 연산 코어를 병렬로 배치해 복잡한 계산을 동시에 처리하는 데 특화돼 있다. 2024년 4월 초, 인텔은 Gaudi 3라는 새로운 AI 가속기를 출시하며 공격적인 시장 진입을 시도했다. 이는 엔비디아의 GPU 독점 체제를 흔들기 위한 시도였으나, 성과는 기대에 미치지 못했다.
인텔은 애초에 2024년 한 해 동안 Gaudi 가속기로 약 5억 달러의 매출을 예상했으나, 곧 해당 목표를 하향 조정해야 했다. 분석가들은 이 같은 부진의 주요 원인으로 엔비디아의 시장 선점 효과와 CUDA 기반의 소프트웨어 생태계가 구매 결정에 큰 영향을 미쳤다는 점을 지적한다.
구글
이러한 인텔과 AMD의 사례를 종합하면, 엔비디아가 가까운 시일 내에 심각한 경쟁에 직면할 가능성은 낮아 보인다. 하지만 이 인식은 하이퍼스케일러(Hyperscalers)인 구글(Google)의 행보를 들여다보면 달라진다. 구글은 엔비디아의 주요 고객 중 하나이지만, 동시에 자체 AI 칩인 TPU(Tensor Processing Unit)를 도입하면서 엔비디아 의존도를 낮추고 있는 경쟁자이기도 하다. 현재 구글은 자체 칩을 시장에 판매하지 않고 있지만, Google Cloud Services를 통해 TPU 기반의 연산 자원을 임대 서비스 형태로 제공하고 있다. 이처럼 ‘고객이자 잠재적 경쟁자’라는 이중적 관계는 앞으로 몇 년간 주의 깊게 지켜보아야 할 중요한 변수다.
TechInsights의 보고서에 따르면, 2023년 한 해 동안 구글은 약 200만 개의 TPU를 클라우드 서비스 형태로 임대했고, 동기간 엔비디아는 총 380만 개의 GPU를 판매했다. 구글 TPU는 설계 및 기능상 고도로 특화된 ASIC에 해당하며, 2023년 기준 TPU 기반 AI 가속기에서 약 60억~90억 달러의 매출을 올린 것으로 추정된다. 다만, 현재로서는 TPU를 직접 구매할 수 없고, 구글 클라우드에서만 연산 자원 형태로 임대 사용이 가능하다. 구글은 AI 클라우드 서비스에서 자체 TPU와 엔비디아 GPU를 병행 사용하는 전략을 취하고 있으며, 이로 인해 업계 최대 규모의 AI 연산 인프라를 구축하고 있다. 특히 내부 모델인 Gemini 등에서 엔비디아 의존도를 줄이고, TPU 활용 비중을 높이는 모습이 뚜렷하다.
이러한 구글의 전략은 최근 애플(Apple)의 움직임과도 맞닿아 있다. 애플은 일부 AI 모델의 훈련 작업에서 엔비디아 GPU만이 아닌, Google Cloud의 TPU 리소스를 병행 사용하기 시작했다. 이는 엔비디아에 대한 의존도를 분산하는 동시에, TPU를 고성능 AI 학습용의 유효한 대안으로 판단한 것으로 해석할 수 있다. 결국 이러한 흐름은 엔비디아에 대한 단기적 위협으로 보일 수도 있지만, 동시에 AI 칩 수요가 공급을 초과하고 있으며, TPU가 ‘보완재’로서 충분히 시장성을 갖추고 있다는 점을 시사한다.
그렇다면 스타트업 생태계에서는 무슨 일이 벌어지고 있을까? AI 반도체 시장에서 앞으로 눈여겨볼 스타트업은 세 곳이다. Cerebras Systems, SambaNova Systems, 그리고 Groq이 바로 그것이다. 이들은 장기적으로 특히 추론(Inference) 영역에서 엔비디아의 지배력을 위협할 잠재력을 갖고 있다.
Cerebras Systems
‘Cerebras’는 창립자 앤드루 펠드먼(Andrew Feldman)이 설립한 회사로, AI 연산을 위한 세계 최대 크기의 칩을 시장에 내놓기 위해 ‘웨이퍼 스케일 엔진(WSE)’ 개발에 집중하고 있다. 이 거대 칩의 장점은 무려 85만 개의 연산 코어를 탑재해 압도적인 병렬 연산 성능을 제공한다는 점이다. 하지만 이러한 속도는 상당한 비용을 요구한다. 초대형 칩의 개발과 운영은 고비용 구조이며, 기존 인프라에 통합하는 데도 기술적으로 높은 복잡성이 따르는 것이 한계다.
SambaNova Systems
2017년, 오라클(Oracle)과 스탠퍼드 출신 전문가들이 설립한 ‘SambaNova’는 추론 성능 세계 최고 기록을 목표로 하며, 칩 간 연산 방식 자체를 재설계하려 하고 있다. 이들이 주도하는 ‘데이터 플로우 아키텍처(Data Flow Architecture)’는 대형 언어 모델(LLM) 및 복합 AI 시스템에 이상적인 구조로 평가된다. SambaNova에 따르면, 이 칩은 기존 GPU 대비 10배 높은 성능, 10분의 1 수준의 전력 소비를 달성하며, 풀스택 솔루션으로 사용자 편의성까지 제공한다. 단점은 초기 도입 장벽이다. 하드웨어와 통합을 위한 초기 투자 비용이 상당히 높다는 점에서 대기업 중심의 채택이 예상된다.
Groq
2016년, Google TPU 개발에 참여했던 엔지니어들이 창업한 ‘Groq’은 LLM 특화 ASIC을 개발하며 극단적으로 빠른 추론 속도를 강점으로 내세운다. 일부 계산 작업은 기존 칩보다 훨씬 빠르게 수행 가능하나, 대규모 AI 모델로 확장할 때는 아직 한계를 보이고 있다.
AI 칩의 미래는 어디로 향하는가? 오늘날 기준으로 보면 엔비디아 GPU에 대한 대안이 뚜렷하지 않아 보인다. 하지만 시장은 결코 정체되어 있지 않다. 대표적으로 Meta(메타)는 2025년 3월, 자체 AI 학습 칩 개발을 시작했다고 공식 발표했다. Meta가 공개한 ‘Meta Training and Inference Accelerator(MTIA)’는 생성형 AI와 같은 대규모 모델에 효율성과 성능을 높이기 위해 설계된 칩이다. 이는 엔비디아 의존도를 줄이기 위한 포석이기도 하다.
4. AI 하드웨어의 미래- 기술 발전을 중심으로
고객과 경쟁사들뿐만 아니라 기술 발전 역시 AI 하드웨어의 미래를 결정하는 중요한 요소가 될 것이다. 중요한 기술 발전으로는 실리콘 포토닉스(Silicon Photonics), 뉴로모픽 컴퓨팅 (Neuromorphic Computing), 양자 컴퓨팅이 있다.
실리콘 포토닉스
AI 칩의 미래를 좌우할 기술 혁신의 핵심 축 중 하나는 바로 실리콘 포토닉스다. 이 기술은 칩 수준에서 데이터를 전송할 때 전자가 아닌 광자(빛)를 사용한다. 그 결과, 데이터 전송 속도는 향상되고, 지연(latency)은 줄어들며, 전력 소모 또한 대폭 절감될 수 있다. 이 분야에서는 TSMC(대만 반도체 기업)가 선도적인 투자를 진행 중이며, 열 효율성 측면에서도 기존 전자식 시스템 대비 우수한 성능을 보이는 것으로 나타났다. 더 나아가, 실리콘 포토닉스는 단순 데이터 전송을 넘어 AI 계산 자체에도 활용될 수 있다. 대표적인 사례로는 독일 TRUMPF 산하 스타트업 Q.ANT가 있다. 이들은 시장에 적용 가능한 광자 기반 AI 프로세서를 이미 상용화했으며, 2030년까지 기존 전자식 칩을 대체할 수 있는 솔루션으로 자리 잡는 것을 목표로 하고 있다.
뉴로모픽 컴퓨팅
AI 반도체의 진화는 여전히 진행 중이며, 뉴로모픽 컴퓨팅(Neuromorphic Computing) 역시 주목해야 할 기술 중 하나다. 이 기술은 인간의 뇌 구조와 작동 원리를 모방하여, 인공 뉴런과 시냅스를 기반으로 생물학적 시스템과 유사한 방식으로 정보를 처리한다. 실리콘 포토닉스처럼, 뉴로모픽 컴퓨팅도 연산 속도와 에너지 효율을 획기적으로 개선할 가능성을 지니고 있다. 다만, 아직은 기술 성숙도 면에서 초기 단계에 머물러 있으며, 언제, 어떤 방식으로 상용화될 수 있을지는 아직 불확실하다.
양자 컴퓨팅
이와 함께 주목받는 기술이 바로 양자 컴퓨팅(Quantum Computing)이다. 양자 입자를 기반으로 한 새로운 슈퍼컴퓨터는 기존 컴퓨터로는 수주~수개월 걸리던 연산을 단시간에 처리할 수 있는 잠재력을 가지고 있다. 특히 최적화(Optimization)와 암호해독(Cryptography) 같은 분야에서 완전히 새로운 차원의 계산 능력을 제공할 수 있으며, AI 모델의 학습 속도 역시 비약적으로 단축될 수 있다.
실리콘 포토닉스, 뉴로모픽 컴퓨팅, 양자 컴퓨팅까지 이 모든 기술들이 AI 칩 시장에 어떤 영향을 줄 것인지는 아직 명확하지 않다. 기술 경로 자체가 아직 불확실하고 다변화되어 있기 때문이다.
5. 새로운 아키텍처, 분화되는 경쟁 구도
그럼에도 불구하고 본 보고서에서 설명한 근거로 볼 때, 엔비디아가 중단기적으로는 지배적 지위를 유지할 가능성이 높아 보인다. 하지만 결코 안심할 수는 없다. 업계 전반에서 너무 많은 변화가 동시다발적으로 진행 중이기 때문이다.
장기적으로는 다음과 같은 혼합 구조가 현실화될 가능성이 크다 :
- GPU + ASIC + FPGA + 신개념 칩 아키텍처의 복합 활용
- 훈련(Training) vs. 추론(Inference), 공공 클라우드 vs. 기업 내부 전용 환경 등 워크로드 유형에 따라 하드웨어 선택이 분화
이는 곧 AI 하드웨어 시장이 더 세분화되고, 경쟁 구도가 다극화 될 수 있음을 시사한다. 그렇기에 지금은 이 산업의 역동성을 주의 깊게 관찰하고, 전략적으로 ‘언제, 어떤 기술에 베팅할 것인가’를 판단해야 하는 시점이다.
