출처 : https://media.rakuten-sec.net/articles/-/43744

 

● 생성형 AI의 붐이 일면서 AI 반도체 시장이 빠르게 성장하고 있다. AMD에 따르면, 2027년에 AI 반도체 시장은 4,000억 달러로 확대될 것이라고 한다. 연평균 70%의 증가율로 크게 성장할 것으로 기대되기 때문에, 엔비디아, AMD뿐만 아니라 클라우드 서비스의 내제 AI 반도체(아마존, 알파벳, 마이크로소프트 등), 신흥기업의 AI 반도체에도 비즈니스 기회가 있다.

 

● AI 반도체 시장의 80~90%는 엔비디아가 차지하고 있는 것으로 보이지만, 신형 AI 반도체를 통해 점유율을 획득하려는 AMD, AI 기능을 강화한 컴퓨터용 CPU를 출시한 인텔에도 주목해야 한다.

 

● 향후 6~12개월간의 목표 주가를 보면, 엔비디아는 760달러를 유지한다. AMD는 이전에 150달러였던 것을 180달러로 인상했다. 인텔은 65달러라고 한다. 각 기업 모두 중장기적으로 투자에 힘을 싣는다.

 

1. AI 반도체란

 

1) AI를 움직이는 AI 반도체

 

AI 반도체는 AI의 기능인 학습, 추론을 위해 사용하는 반도체의 총칭이다. 구체적으로는, AI용 GPU, AI용 CPU, AI의 학습, 각각의 추론, 또는 양쪽에 특화된 로직 반도체를 가리킨다.

 

생성형 AI를 포함한 AI를 움직이는 경우, AI에 대량의 학습 소재를 학습시키고(기계학습과 기계학습 중에서도 인간의 뇌 구조를 모방하여 학습시키는 딥러닝), AI는 그 학습을 바탕으로 추론한다. 원래는 학습, 추론 모두 CPU에서 이루어졌지만, 2012년경 여러 대학의 연구자들이 학습은 CPU에서 실행하는 것보다 GPU에서 실행하는 것이 빠르고 효율적이라는 연구 결과를 공표했다. 그래서 학습을 GPU, 추론을 CPU에서 수행하는 역할 분담이 가능해졌다.

 

2) 엔비디아, AMD, 인텔의 AI 반도체

 

이러한 흐름을 타고 오늘날의 입지를 획득한 것이 엔비디아다. 특히 2022년 후반부터 본격적으로 출하하기 시작한 엔비디아의 ‘H100’은 딥러닝 능력뿐 아니라 추론 능력을 대폭 향상시킴으로써 AI 시스템의 대부분의 구동을 GPU에서 수행할 수 있게 되었다.

 

엔비디아 다음으로 AMD도 AI용 GPU를 개발, 판매하고 있다. 2021년 11월에 ‘Instinct MI200’ 시리즈, 2023년 12월에 ‘Instinct MI300’ 시리즈를 출시했다. 최신형 ‘MI300’ 시리즈에는 GPU만 있는 ‘MI300X’, CPU와 GPU를 합친 ‘MI300A’가 있다.

 

한편 인텔은 AI 반도체와 관련하여, CPU 단독(서버용 CPU ‘Xeon’, 컴퓨터용 CPU ‘CORE 시리즈’), CPU+GPU(‘Xeon’+‘Intel Data Center GPU’ (개발명 ‘폰테 베키오’)), CPU+딥러닝 전용 반도체(액셀러레이터) ‘Habana Gaudi2’, 이렇게 3가지 선택지를 마련했다.

 

두 번째로 소개한 ‘Intel Data Center GPU’는 엔비디아의 ‘H100’의 능력에 미치지 못하여 잘 판매되는 것 같지는 않지만, ‘Gaudi2’는 클라우드 서비스가 고객 대상 딥러닝용 반도체의 선택지로 구입되는 사례가 많다. ‘H100’ 만큼의 능력은 필요 없지만 어느 정도 높은 딥러닝 능력을 원하는 고객을 대상으로 한다. 또한 2024년에 ‘Gaudi3’이 출시될 예정이다.

 

또한 AI 처리 기능을 강화한 컴퓨터용 CPU의 수요가 의외로 증가하고 있다. AMD가 최신형 컴퓨터용 CPU의 AI 기능을 강화하고, 인텔이 그 뒤를 쫓는 형태긴 하지만, 이러한 유형의 컴퓨터용 CPU가 호조를 보이고 있다.

 

3) 클라우드 서비스의 내제 AI 반도체와 특주형 로직 반도체 기업의 AI 반도체

 

AI 반도체 중에는 대형 클라우드 서비스 회사의 내제형 AI 반도체도 있다. AWS(아마존닷컴)의 Trainium(학습용)과 Inferentia(추론용), 구글 클라우드(알파벳)의 TPU(텐서 프로세싱 유닛), Azure(마이크로소프트)의 AI 액셀러레이터 ‘마이아’(2024년 초에 가동 시작)가 이에 해당한다.

 

또한 브로드컴과 같은 특주형 로직 반도체 기업(특정 전자기기 기업의 특정 제품에 탑재되는 로직 반도체를 설계, 판매한다)이 설계, 판매하는 AI 반도체도 있다.

 

4) 신흥 반도체 기업도 중요해질 가능성이 있음

 

신흥기업이 AI 반도체에 뛰어들기도 한다. AI용 GPU는 엔비디아製든 AMD製든 성능이 매우 뛰어나지만, 큰 문제점이 있다. AI용 GPU는 CPU와 비교하면 다이 사이즈(칩 크기)가 크고, 큰 다이 안에 대량의 트랜지스터를 구축하기 때문에, 전력 소비량과 발열량이 크다는 점이다. 이 문제를 해결하기 위해 GPU가 아니라 소비 전력량이 적은 고성능 AI 반도체를 개발하려는 움직임(미국의 신흥기업 ‘텐스토렌트’), ‘H100’과 같은 고성능 AI 반도체를 필요로 하지 않는 사용자를 위해 추론에 특화하여 전력 소비량이 적고 저렴한 소형 AI 반도체를 개발하려는 움직임이 존재한다(미국의 ‘d매트릭스’).

 

AI 반도체 시장이 거대해질수록 이러한 신흥기업의 AI 반도체에 대한 수요도 커질 가능성이 있다.

 

2. 엔비디아의 ‘H100’과 AMD의 ‘MI300 시리즈’, 무엇이 더 성능이 뛰어난가?

 

1) AMD의 ‘MI300’과 ‘H100’ 비교

 

현재 AI 반도체 시장을 주도하고 있는 제품은 엔비디아의 ‘H100’이다. 전 세계적으로 수요가 커서 증산하고 있지만 품귀가 일어나고 있다. 이에 반해 AMD는 2023년 12월 6일에 신형 AI 반도체 ‘Instinct MI300’ 시리즈의 발표회를 개최했다. 이미 대형 서버 기업에 출하하고 있으며, 마이크로소프트 Azure에서도 제공할 예정이다. GPU만 있는 ‘MI300X’와 CPU, GPU를 합친 ‘MI300A’가 있다.

 

이러한 ‘MI300’ 시리즈와 엔비디아의 ‘H100’의 성능을 비교한 것이 화제가 되고 있다. 12월 6일이 출시 회견에서 AMD는 ‘H100’과의 성능 비교를 제시했다. 그에 따르면,

 

▪ 각 기업의 칩을 서버에 각각 8기씩 탑재하고 대규모 언어 모델을 통해 비교한 경우(‘MI300X Platform’과 ‘H100 HGX’ 비교), ‘MI300X Platform’의 추론 성능은 ‘H100 HGX’보다 ‘Bloom’(오픈소스 대규모 언어 모델)에서 스루풋(단위 시간당 처리할 수 있는 데이터량)이 1.6배, ‘Llama2’(메타 플랫폼이 개발한 대규모 언어 모델)에서 채팅 시 지연 개선 정도가 1.4배였다. 학습 성능은 비슷했다.

 

▪ 대규모 언어 모델을 작동시켰을 때의 성능은 학습과 추론 모두 ‘MI300X Platform’이 ‘H100 GHX’ H100의 약 2배이다.

 

▪ ‘GH200’(아직 출시되지 않음)과 ‘MI300A’를 비교하면, 단위 전력량 당 HPC 성능(AI가 아니라 일반 컴퓨터로 사용하는 경우)은 2배이다.

 

▪ OpenFOAM(수치 분석 개발, 수치 유체 역학을 포함한 연속체 역학의 오픈소스 소프트웨어)을 작동한 경우, ‘MI300A’는 ‘H100’의 4배의 성능을 보인다.

 

2) 엔비디아의 반론과 그에 대한 AMD의 반론

 

이에 대해 엔비디아는 AMD가 ‘MI300X’와 ‘H100’의 성능을 비교했을 때 ‘H100’용으로 최적화된 소프트웨어 ‘TensorRT-LLM’을 사용하지 않았다고 반론했다. 엔비디아에 따르면, ‘H100’과 같은 AI 특화형 칩은 엔비디아의 독자적인 소프트웨어 ‘TensorRT-LLM’을 사용할 때 최적의 작동을 하도록 설계되어 있다고 한다. 엔비디아는 ‘TensorRT-LLM’을 사용할 때의 ‘MI300X’와 ‘H100’의 성능을 비교했는데, 1초에 처리할 수 있는 쿼리의 수를 비교한 결과, ‘H100’이 ‘MI300X’의 성능을 압도적으로 능가했다고 보고했다(이 건에 관한 보도의 그래프를 보면 ‘H100’은 ‘MI300X’보다 4~10배 이상의 성능을 보인다).

 

이에 대해 AMD는 둘 다 vLLM(대규모 언어 모델의 처리 속도를 높이는 라이브러리. 오픈소스)을 이용한 경우(FP8 = 부동 소수점 연산의 1형식으로 계산했을 때), ‘MI300X’가 ‘H100’의 약 2.1배의 스코어를 냈다고 보고했다.

 

3) ‘H100’과 ‘MI300’ 시리즈의 우열은 시장에서 측정할 수밖에 없음

 

‘H100’과 ‘MI300X’ 중 무엇이 더 우수한지, 기업 간에 비교하는 것은 정확한 결과라 하기 어렵다. ‘MI300X’를 탑재한 AI 서버가 시장에 출시되는 2024년 초에 중립적인 입장에 있는 기술계 언론 및 IT 컨설팅 회사가 같은 조건의 세팅에서 여러 가지 대규모 언어 모델을 작동시키는 벤치마크 테스트를 수행할 때까지 기다릴 수밖에 없다.

 

참고로, 2020년에 발표된 ‘MI200’ 시리즈는 GPU 단독 스펙으로는 엔비디아의 ‘A100’을 능가했지만, ‘MI200’ 시리즈와 ‘A100’을 각각 서버에 장착하여 AI를 작동시켜 보니, 수치는 모든 분야에서 ‘A100’을 탑재한 서버가 더 좋았다고 한다. 그러므로 ‘MI200’ 시리즈는 시장 점유율을 획득할 수 없었다(추정 점유율은 5% 미만). 이것은 엔비디아가 엔비디아製 GPU를 탑재한 AI 서버를 사용하여 효율적으로 AI 시스템을 개발하고 작동시키기 위해 갖추고 있는 개발 지원 소프트웨어군이 뛰어나기 때문이다. 엔비디아의 전 직원 중 50% 이상이 이러한 소프트웨어 개발에 종사하는 소프트웨어 엔지니어다.

 

이번에는 AMD도 개발 지원 소프트웨어를 확충하였는데, 이 분야에서는 엔비디아가 선행 우위성을 가지고 있다. 결국 이것은 ‘MI300’ 시리즈를 탑재한 서버가 시장에 보급된 후의 평가를 기다리는 수밖에 없다.

 

4) ‘H100’이 우수한 AI 반도체임은 실증되었다고 판단

 

AMD의 주장에서 주목해야 하는 점이 있다. ‘H100’이 발표된 것은 2022년 3월이며, 출하 시기는 2022년 10월(2022년 8~10월 분기)이라는 점이다. 이에 반해 AMD가 ‘MI300’ 시리즈를 발표한 것은 2023년 1월이며, 2023년 7월과 12월에 상세 정보를 공개하고, 12월에 상세 정보를 공표함과 동시에 이미 출하를 시작했음을 발표했다(출하 시기는 2023년 10~12월 분기). ‘H100’의 발표 시기인 2022년 3월과 ‘MI300’의 두 번째 상세 정보 공개 시기인 2023년 12월 사이에는 1년 9개월의 차이가 있으며, 출하 시기도 1년 2개월의 차이가 있음에도 불구하고, 대규모 언어 모델을 작동했을 때의 성능 차이는 약 2배밖에 차이가 나지 않는다. 출하 시기가 1년 이상 차이가 난다는 점을 생각하면, ‘MI300X’는 ‘H100’ 이상의 성능을 가지는 것이 당연하다. 일부 보도에서 2024년 4~6월 분기에 투입될 것으로 예상하는 엔비디아의 차세대 AI용 GPU ‘B100’은 ‘H100’의 3배 이상의 성능을 가진다고, 엔비디아는 지적한다.

 

실제로 ‘MI300’ 시리즈가 경쟁해야 하는 것은 ‘H100’이 아니라 2024년 초에 투입될 ‘H200’(‘H100’의 HBM(AI 반도체에 반드시 부착되는 특수 메모리)을 증강한 것)과 그 상위 기종인 ‘GH200’, 그리고 차세대 기기인 ‘B100’이라 할 수 있다. ‘MI300’ 시리즈가 ‘H200’, ‘GB200’에 비해 어느 정도 경쟁력이 있다고 하더라도 ‘B100’에 진다면, AMD의 AI용 GPU는 엔비디아를 보완하는 정도의 위치에 머무를 것으로 판단된다.

 

이렇게 보면, ‘H100’을 만들어 낸 엔비디아의 개발 능력이 얼마나 뛰어난지 다시금 주목하게 된다. 또한 지금의 생성형 AI 붐이 계속되는 한, 엔비디아의 AI용 GPU, 특히 최신형 시리즈의 품귀가 계속될 가능성이 있다. 그렇게 되면 AMD의 ‘MI300’ 시리즈, AWS, 구글 클라우드, Azure의 내제 AI 반도체는 엔비디아를 보완하는 제품으로 순조롭게 팔리거나 사용될 것으로 예상된다.

 

<그림2> 엔비디아의 AI용 GPU 로드맵

 

<그림3> 엔비디아의 AI용 GPU : 세대별 추론 성능 변화

주) 생성형 AI ‘GPT-3’을 작동했을 때의 추론 성능 변화. A100의 추론 성능을 1로 본다.