글로벌 AI 컴퓨팅 시장은 폭발적인 성장세를 지속하고 있다. 데이터센터 GPU 시장 규모는 2024년 873.2억 달러로 평가되었으며, 2030년까지 2,280.4억 달러 규모로 성장할 것으로 전망된다. 이는 해당 예측 기간 동안 13.7%의 견조한 연평균 성장률(CAGR)을 나타낸다. 다른 자료에서는 데이터센터 GPU 시장이 2023년 131억 달러 규모에서 2032년까지 28.5%의 높은 CAGR로 성장할 것으로 예측하며, AI 인프라 확충이 필수적인 성장 동력임을 강조한다. 거시적으로 볼 때, 이러한 AI 혁신에 힘입어 글로벌 반도체 시장 전체 매출은 2030년까지 1조 달러를 돌파할 것으로 예상된다.

 

현재 시장 지배 구도를 살펴보면, 엔비디아는 생성형 AI 시장에서 92%의 압도적인 점유율을 유지하며 독보적인 위치를 차지하고 있다. 이러한 점유율은 단순 하드웨어 성능을 넘어 소프트웨어 생태계의 완성도가 시장 경쟁의 핵심 변수임을 시사하며, 엔비디아의 아성을 깨기 위한 AMD와 인텔의 도전이 본격화되는 양상이다.

 

1. 차세대 AI GPU 아키텍처 경쟁 심화 : 빅 3 전략 비교

 

1-1. NVIDIA의 지속적인 지배 전략: Blackwell 아키텍처 및 미래 로드맵

 

엔비디아는 2025년에도 '블랙웰(Blackwell)' 세대를 통해 AI 가속기 시장에서 글로벌 우위를 지속적으로 유지하고 있다. 블랙웰 아키텍처 기반의 핵심 제품인 B200은 4nm 공정을 사용하며, 192GB HBM3E 메모리를 탑재하고 약 8 TB/s의 대역폭을 제공하는 것으로 추정된다.

 

엔비디아는 GTC 2025 컨퍼런스에서 인공지능, 데이터 센터, 로보틱스 등 다양한 기술을 공개하는 동시에, 장기적인 기술 주도권을 확고히 하기 위해 2028년 출시를 목표로 하는 차차세대 인공지능 가속기인 '파인먼(Feynman)'을 제품 청사진에 추가했다.

 

성능 극대화 측면에서, 엔비디아는 Blackwell Ultra를 통해 MLPerf 추론(Inference) 벤치마크에서 신기록을 세웠으며, 특히 Blackwell 및 Blackwell Ultra 아키텍처 전반에 걸쳐 NVFP4 가속을 광범위하게 사용하여 성능을 최적화하는 전략을 구사하고 있다. 이는 엔비디아가 하드웨어뿐 아니라 소프트웨어 및 최적화 기술까지 통합하는 풀스택 역량을 통해 경쟁사와의 격차를 벌리고 있음을 보여준다.

 

1-2. AMD의 강력한 추격: MI350/MI400 시리즈의 기술적 우위 분석

 

AMD는 인스팅트 MI350 시리즈 GPU를 통해 엔비디아 블랙웰에 견줄 만한 강력한 성능을 갖추며 시장을 공격적으로 추격하고 있다. MI350은 CDNA4 아키텍처와 3nm 공정 노드를 사용하여 288GB HBM3E 메모리를 탑재하며, 약 22.1 TB/s의 높은 메모리 대역폭을 제공하는 것으로 예상된다. 이는 B200 대비 높은 메모리 용량과 대역폭이다.

 

MI350은 이전 세대 대비 4배 높은 성능을 제공하며, 특히 AI 추론 성능은 MI300X 대비 35배 향상되었다고 주장한다. 또한 AMD는 차세대 MI400에서 2배의 추가 성능 향상을 제시하며 기술 로드맵을 구체화하고 있다. AMD는 절대적인 고성능 영역에서 더 적은 수의 GPU로 초대형 모델을 실행할 수 있는 메모리 역량과 더 나은 가치(Value)를 적극적으로 내세우고 있다. 2025년 MI350 라인업의 상용화와 대형 CSP(클라우드 서비스 제공자) 계약 가시화가 중장기 경쟁 구도를 재편하는 주요 변수가 될 전망이다.

 

1-3. Intel의 개방형 도전: Gaudi 3의 가치 제안 및 시장 진입 전략

 

인텔은 엔비디아 중심의 독점적 생태계가 가진 취약성을 지적하며, 개방형 시스템을 지향하는 AI 전략으로 시장 진입을 가속화하고 있다. 인텔 가우디 3는 대규모 언어 모델(LLM) 학습부터 엣지 추론까지 AI의 핵심 요구 사항을 충족하며, 특히 가격 대비 성능이 경쟁력 있는 AI 가속 솔루션으로 평가받는다.

 

Gaudi 3는 가속기당 128GB HBM 및 3.7TB/s의 대역폭을 제공하며, 인텔 Gaudi 2 대비 AI 컴퓨팅(BF16)에서 4배, 네트워크 대역폭에서 2배의 성능 향상을 보인다. 특히 인텔은 NVLink나 NVSwitch와 같은 독점 기술을 피하고 표준 이더넷 기반 네트워킹을 채택함으로써 비용 효율적인 확장성(Scale-up/Scale-out)을 제공하도록 Gaudi 3를 설계했다. 이러한 개방형 전략은 기업의 AI 도입 및 확장을 가속화할 것으로 기대되며, 실제로 델(Dell) AI 팩토리의 최신 포트폴리오에 Gaudi 3 가속기가 탑재되는 등의 주요 도입 사례가 나타나고 있다. 또한 네이버클라우드와의 협력을 통해 국내 AI 소프트웨어 생태계 강화를 도모하는 등 개방형 생태계 확산에 주력하고 있다.

 

1-4. 핵심 경쟁 아키텍처 비교

 

차세대 AI 가속기 시장은 엔비디아, AMD, 인텔 세 거대 기업의 기술력과 전략적 차이가 명확하게 드러나고 있다. 특히 AMD MI350이 엔비디아 B200 대비 높은 메모리 용량과 대역폭을 앞세워 대규모 모델 처리에 유리한 스펙을 제시하는 점이 주목된다.

 

<표> 차세대 AI 가속기 주요 사양 비교 (2025년 예상)

 

2. 메모리 및 패키징 혁신을 통한 성능 가속화

 

2-1. 고대역폭 메모리 (HBM)의 진화: HBM4 시대의 도래

 

AI 서버는 비유적으로 '스포츠카 같은 엔진(GPU)'을 장착하고 있지만, 데이터 처리를 위한 메모리가 '일반 도로(DRAM)'에 머물 경우 속도가 제한된다. HBM(High Bandwidth Memory)은 GPU 전용 고속도로를 구축하여 데이터를 빠르게 전송하는 역할을 하며, 초저지연·고성능 연산에 필수적인 요소이다.

 

차세대 HBM인 HBM4는 2048-bit 인터페이스와 16-layer 스택 구성을 통해 초당 약 1.6 TB의 전송 속도를 구현하여 고대역, 저전력 특성을 갖추며 AI 연산에 최적화된 형태로 진화하고 있다. HBM은 TSV(실리콘 관통 전극) 적층 기술로 GPU와 직접 연결되어 기존 DRAM 대비 대역폭을 5배 이상 확대한다.

 

HBM 시장 점유율은 2024년 2분기 기준으로 SK하이닉스가 62%로 선두를 달리고 있으나, 내년 HBM4 양산 공급이 본격화되면 삼성전자의 시장 점유율이 30%까지 높아질 것으로 전망된다. 이는 HBM4 기술 표준화와 제조 역량 확보 여부가 향후 메모리 시장 판도를 재편할 주요 변수로 작용할 것임을 시사한다.

 

2-2. CXL (Compute Express Link) 기반 메모리 확장 시스템

 

HBM이 속도를 위한 전용 고속도로라면, CXL은 서버 전체가 메모리를 하나의 저수지처럼 공유하여 필요한 만큼 나눠 쓰는 수도관 및 저수지 역할을 수행한다. CXL은 PCIe 기반 인터커넥트 위에서 동작하며, 메모리 풀링 및 확장을 지원하여 서버 노드 간 유휴 메모리를 효율적으로 공유하게 한다.

 

이러한 HBM과 CXL의 조합이 필연적이 된 배경은 AI 연산 수요의 폭발적인 증가에 있다. 생성형 AI의 확산으로 구글, MS 데이터센터 기준으로 서버당 DRAM 용량 요구량이 2020년 1TB 수준에서 2025년 6TB 이상으로 5~10배 증가했다. 기존 DRAM은 CPU 소켓당 메모리 채널 수가 12~16개로 물리적 한계에 부딪혔고, 이를 초과하면 신호 무결성과 발열 문제가 발생한다. 따라서 고속을 위한 HBM과 대용량 및 효율을 위한 CXL 기술을 동시에 채택하는 메모리 아키텍처가 AI 서버 구축의 표준으로 자리 잡았다.

 

2-3. 첨단 패키징 기술의 병목 현상과 대응 전략

 

AI 반도체는 방대한 데이터를 빠르고 효율적으로 처리해야 하므로, 단순한 반도체 포장 개념을 넘어 성능 향상까지 구현하는 첨단 패키징 기술이 필수적이다. 2.5D 및 3D 패키징 기술은 공정 미세화의 한계를 극복하고 반도체의 수율을 높이는 데 중요한 역할을 한다.

 

TSMC의 CoWoS(Chip-on-Wafer-on-Substrate) 기술은 엔비디아의 블랙웰과 같은 최신 AI 가속기 생산에 활용되는 핵심 기술이며, 빅테크 기업들에게 없어서는 안 될 요소로 평가받는다. 인텔 역시 Foveros 공정을 통해 첨단 패키징 경쟁에 참여하고 있다.

 

최근 AI GPU 시장의 가장 심각한 병목 현상은 첨단 패키징 생산 능력(CAPA) 부족이다. 글로벌 전공정(Front-End) 웨이퍼 생산 능력은 2024년 말부터 2028년까지 연평균 7% 성장에 그치지만, 급증하는 AI 수요에 대응하기 위한 첨단 패키징 생산능력은 4년 동안 69% 증가할 것으로 전망된다. TSMC는 이미 CoWoS 용량을 작년 대비 2배 증가시켜 월 7.5만 장 수준으로 늘리고 있다. 이처럼 첨단 패키징 장비에 대한 글로벌 투자가 2024년 260억 달러에서 2028년 500억 달러 이상으로 94% 급증할 것으로 예상되는 현상은, AI GPU 성능을 좌우하는 HBM과 로직 칩의 물리적 통합 역량이 곧 AI 인프라 구축 속도를 결정하는 핵심 요소임을 명확히 보여준다.

 

3. AI GPU 소프트웨어 생태계 및 표준 전쟁

 

3-1. NVIDIA CUDA의 독점적 지위와 시장 락인(Lock-In) 효과

 

엔비디아는 수년간 CUDA(쿠다)라는 병렬 컴퓨팅 플랫폼을 통해 AI 개발자 생태계에서 독보적인 위치를 구축해 왔다. CUDA는 엔비디아 GPU 기반 AI 연산을 위한 사실상의 산업 표준으로 기능하며, 이는 엔비디아가 92%의 시장 지배력을 유지하는 가장 강력한 방어벽이다.

 

그러나 CUDA는 프로그래밍 난이도가 높고, 메모리 관리 문제로 인해 LLM 소프트웨어 개발 시 어셈블리 수준의 낮은 단계에서 최적화를 요구하는 경우가 많다. 또한 칩 아키텍처가 바뀔 때마다 코드를 다시 최적화해야 하는 문제로 인해, 개발자들은 특정 기업의 하드웨어에 종속(Lock-In)되는 현상이 심화된다. 이러한 소프트웨어 장벽은 경쟁사들이 하드웨어 성능 격차를 줄이더라도 시장 점유율을 뺏기 어려운 근본적인 이유이다.

 

3-2. AMD ROCm의 공격적인 생태계 강화

 

AMD는 이러한 엔비디아의 독점적 지위에 도전하기 위해 ROCm(라데온 오픈 컴퓨트 플랫폼)을 지속적으로 강화하고 있다. ROCm 7.0 버전 출시를 통해 엔비디아 CUDA 중심 생태계에 대한 본격적인 도전장을 내밀었으며, 최신 업데이트를 통해 AI 추론 및 학습 성능을 이전 버전에 비해 최대 3.5배까지 향상시켰다.

 

AMD는 하드웨어와 소프트웨어 생태계의 동반 성장을 목표로 한다. ROCm 7.0은 특히 MI350 시리즈 GPU의 기능을 최대한 활용하도록 설계되었으며, MXFP4, FP8과 같은 저정밀도 데이터 타입 지원 및 생성형 AI 성능 극대화를 위한 AITER(AI 텐서 엔진) 도입을 통해 성능 격차를 줄이고 개발자 유입을 촉진하려 한다.

 

3-3. 개방형 생태계의 중요성과 인텔의 포지셔닝

 

인텔은 "현재 AI 플랫폼은 모든 것을 충족시킬 수 없으며, 특정 기업에 락인되어 있다"고 비판하며 개방형 생태계 접근 방식의 강점을 강조한다. 인텔 Gaudi 3는 파이토치(PyTorch), 허깅 페이스(Hugging Face), 쿠버네티스(Kubernetes) 등 오픈 소스 소프트웨어 스택을 활용하여 AI 모델 최적화를 간소화하고, 기업 고객에게 확장 가능하고 효율적인 솔루션을 제공하는 것을 목표로 한다. 이러한 개방형 전략은 엔비디아 중심의 독점적 구조를 깨고 시장 참여자들에게 기술 선택의 폭을 넓혀주는 대안으로 작용한다.

 

 

[新정부의 AI 대전환으로 주목받는, AI 반도체 트렌드와 차세대 반도체 유망 분야별 기술, 시장 전망과 사업 전략] 보고서 상세보기

https://www.irsglobal.com/shop_goods/goods_view.htm?category=02000000&goods_idx=100066&goods_bu_id=