전 세계에서 가장 핫한 기업은 시가총액 1등을 달성한 엔비디아(NVIDIA)다. 2023년 가장 큰 트렌드는 생성형 인공지능 ‘챗GPT’의 등장과 이를 구현하는 ‘AI 컴퓨팅’이다 이러한 AI 기술력은 GPU의 성능에 갈린다. GPU를 기반으로 한 연산체계가 얼마나 많이 처리할 수 있는지, 얼마나 빠르게 처리할 수 있는지 등이 중요한 지표이다. 이러한 GPU 시장의 강자인 엔비디아의 전 세계 시가총액 1등, 2023년 순이익 43조 등 호실적을 달성하였다. 특히, 데이터 센터용 GPU 시장의 98%를 점유하고 있어, 이러한 시장 내 독점적 지위는 지속될 것으로 예상된다.
[그림] 엔비디아의 실적 추이와 데이터센터용 GPU 점유율 현황 및 전망
최근, 엔비디아는 AI 컴퓨팅을 위한 GPU 시장을 강타할 새로운 GPU, 블랙웰(Blackwell)을 출시하였다. GPU 블랙웰(Blackwell) 내 집적된 트랜지스터는 모두 2080억개로 전작 '하퍼(Hopper)'의 두 배가 넘는 수준이다. 기존 GPU 보다 인공지능 학습 속도가 4배 정도 향상되었다. 이러한 우수한 기술력은 AI 컴퓨팅 시장 내 또다른 패러다임을 바꿀 것으로 예상된다. 특히, 메타(舊 페이스북)는 자사 AI 기반 언어 모델인(LLM; Large Language Models) 학습에 적용하기 위한 도입 중이다. 이 외에도 AWS(아마존 웹 서비스), 구글클라우드, Microsoft Azure 등에도 도입될 예정이다.
[그림] 엔비디아의 최신 GPU ‘블랙웰(좌)’와 기존 GPU ‘하퍼(우)’
엔비디아는 이러한 기술적 우위를 위해 다양한 GPU에 대한 기술을 출원 중에 있다. 이러한 최근 출원 트렌드를 살펴보면, 핵심 GPU 기술의 트렌드는 ‘리소스 할당·분할 ’와 ‘GPU 튜닝’로 정의할 수 있다.
‘리소스 할당·분할 기술’은 GPU의 원활한 제어를 위해 GPU 내 최적화된 리소스 할당하는 기술이다. 이러한 기술 중 주목할 기술은 EFFICIENT GPU RESOURCE ALLOCATION OPTIMIZATION METHOD AND SYSTEM(US 1 801 1831)이다. 기존 기술은 메모리 접속 (NUMA) 패킷에 따라서 GPU 리소스를 사용할 때, 사용하지 않는 리소스를 할당하여 GPU의 효율성을 떨어뜨리며, UMA 패킷의 불충분한 가동률을 보인다. 본 기술은 GPU 자원 할당 방식 최적화 기법과 시스템을 제공하는 기술로 최적화된 GPU 리소스 처리와 NUMA 패킷의 가동률을 높일 수 있는 기술이다.
[그림] 리소스 할당·분할 기술(US 1 801 1831)의 대표 도면과 리소스 할당 예시
‘GPU 튜닝 기술’은 GPU의 성능과 전력 효율 개선을 위해 실시간 튜닝하는 기술이다. 이러한 기술 중 주목할 기술은 REAL-TIME HARDWARE-ASSISTED GPU TUNING USING MACHINE LEARNING(US 1 793 2539)이다. 기존 기술은 머신러닝 시, GPU에 너무 많은 픽셀이 동시에 처리되는 픽셀의 병목현상으로 클럭속도가 급격히 떨어진다. 본 기술은 이러한 픽셀 병목현상 해결을 위해, 실시간 캐시와 픽셀 몰리는 정도를 튜닝하여, 이러한 클럭 속도가 떨어지는걸 해소할 수 있는 기술이다.
[그림] GPU 튜닝 기술(US 1 793 2539)의 대표 도면과 GPU 튜닝 예시
이러한 엔비디아 호실적에 반 엔비디아 전선이 생성되고 있다. 그 전선 선두에는 AMD가 있다. AMD는 2023년 12월 최신 GPU인 MI300X를 출시하였다. MI300X는 엔비디아의 H100와 견줘 2.4배 더 많은 고대역폭메모리(HBM)를 탑재하고 있고, 대역폭도 1.6배 이상이다. 이러한 스펫을 바탕으로 AI 학습과 추론 능력에서도 엔비디아 GPU보다 최대 2배 앞선 성능을 제공할 수 있다 주장한다.
[그림] AMD의 최신 GPU ‘MI300X’와 MI300X가 활용되는 AI칩 ‘MI300’
국내 기업들에게도 엔비디아의 훈풍이 퍼지고 있다. 대표적으로 엔비디아의 AI GPU(H100)를 공급 받아 구축한 AI 데이터센터 구축 산업이다. 최근, NHN클라우드는 아시아 최초로 H100을 도입하여 AI 데이터센터 구축하고 있다. 이러한 최신 GPU를 활용한 클라우드 기반 AI 데이터센터 구축은 NHN 뿐 아니라, 네이버, 삼성SDS 등 국내 모든 대기업들의 수요가 높은 시장이다. 이러한 시장의 열기에 이에 관련한 기업들 또한 새로운 기회가 열리고 있다.
[그림] 엔비디아의 최신 GPU H100이 적용될 NHN의 데이터센터와 데이터센터 시장 전망
이 외에도 국내 반도체 후공정 기업들과의 연계도 끈끈해진다. 국내 패키징·테스트 전문기업(OSAT)들과의 협업이 중요해지고 있다. 국내 OSAT 기업들은 엔비디아가 발주한 AI 반도체를 미국 PMIC 팹리스가 설계를 받아, 패키징하고 테스트하는 과정을 협력한다. 이밖에 AI칩과 이에 적용될 고대역폭메모리(HBM)를 위한 SK하이닉스와 공급계약이 체결되었다. 이를 위한, 국내 반도체 관련 기업들도 높은 성과가 예상된다.
[그림] 엔비디아와 협력할 국내 OSAT 기업들과 후공정 프로세스 개요
특허법인 BLT 리서치 센터는 “개화한 AI 시장과 GPU 시장은 실시간으로 변화하고 있으며, 이러한 시장에 국내 기업들도 경쟁력 있는 기술을 확보한다면 새로운 시대를 선점할 기회가 도래할 것으로 기대된다.”고 전했다.
특허법인 BLT는 2024년 현재 2천여개 이상의 혁신 스타트업들이 선택한 파트너로 IP 확보 및 대응전략수립은 물론 투자유치, 기술특례상장 등의 IP를 활용한 비즈니스 지원을 통해 기업의 성장과 성공을 함께 해왔다.
'BLT 테크체크'는 매주 최근 투자유치가 있는 기술분야를 소개합니다.
필자 소개
특허법인 BLT 리서치 센터
전 세계에서 가장 핫한 기업은 시가총액 1등을 달성한 엔비디아(NVIDIA)다. 2023년 가장 큰 트렌드는 생성형 인공지능 ‘챗GPT’의 등장과 이를 구현하는 ‘AI 컴퓨팅’이다 이러한 AI 기술력은 GPU의 성능에 갈린다. GPU를 기반으로 한 연산체계가 얼마나 많이 처리할 수 있는지, 얼마나 빠르게 처리할 수 있는지 등이 중요한 지표이다. 이러한 GPU 시장의 강자인 엔비디아의 전 세계 시가총액 1등, 2023년 순이익 43조 등 호실적을 달성하였다. 특히, 데이터 센터용 GPU 시장의 98%를 점유하고 있어, 이러한 시장 내 독점적 지위는 지속될 것으로 예상된다.
[그림] 엔비디아의 실적 추이와 데이터센터용 GPU 점유율 현황 및 전망
최근, 엔비디아는 AI 컴퓨팅을 위한 GPU 시장을 강타할 새로운 GPU, 블랙웰(Blackwell)을 출시하였다. GPU 블랙웰(Blackwell) 내 집적된 트랜지스터는 모두 2080억개로 전작 '하퍼(Hopper)'의 두 배가 넘는 수준이다. 기존 GPU 보다 인공지능 학습 속도가 4배 정도 향상되었다. 이러한 우수한 기술력은 AI 컴퓨팅 시장 내 또다른 패러다임을 바꿀 것으로 예상된다. 특히, 메타(舊 페이스북)는 자사 AI 기반 언어 모델인(LLM; Large Language Models) 학습에 적용하기 위한 도입 중이다. 이 외에도 AWS(아마존 웹 서비스), 구글클라우드, Microsoft Azure 등에도 도입될 예정이다.
[그림] 엔비디아의 최신 GPU ‘블랙웰(좌)’와 기존 GPU ‘하퍼(우)’
엔비디아는 이러한 기술적 우위를 위해 다양한 GPU에 대한 기술을 출원 중에 있다. 이러한 최근 출원 트렌드를 살펴보면, 핵심 GPU 기술의 트렌드는 ‘리소스 할당·분할 ’와 ‘GPU 튜닝’로 정의할 수 있다.
‘리소스 할당·분할 기술’은 GPU의 원활한 제어를 위해 GPU 내 최적화된 리소스 할당하는 기술이다. 이러한 기술 중 주목할 기술은 EFFICIENT GPU RESOURCE ALLOCATION OPTIMIZATION METHOD AND SYSTEM(US 1 801 1831)이다. 기존 기술은 메모리 접속 (NUMA) 패킷에 따라서 GPU 리소스를 사용할 때, 사용하지 않는 리소스를 할당하여 GPU의 효율성을 떨어뜨리며, UMA 패킷의 불충분한 가동률을 보인다. 본 기술은 GPU 자원 할당 방식 최적화 기법과 시스템을 제공하는 기술로 최적화된 GPU 리소스 처리와 NUMA 패킷의 가동률을 높일 수 있는 기술이다.
[그림] 리소스 할당·분할 기술(US 1 801 1831)의 대표 도면과 리소스 할당 예시
‘GPU 튜닝 기술’은 GPU의 성능과 전력 효율 개선을 위해 실시간 튜닝하는 기술이다. 이러한 기술 중 주목할 기술은 REAL-TIME HARDWARE-ASSISTED GPU TUNING USING MACHINE LEARNING(US 1 793 2539)이다. 기존 기술은 머신러닝 시, GPU에 너무 많은 픽셀이 동시에 처리되는 픽셀의 병목현상으로 클럭속도가 급격히 떨어진다. 본 기술은 이러한 픽셀 병목현상 해결을 위해, 실시간 캐시와 픽셀 몰리는 정도를 튜닝하여, 이러한 클럭 속도가 떨어지는걸 해소할 수 있는 기술이다.
[그림] GPU 튜닝 기술(US 1 793 2539)의 대표 도면과 GPU 튜닝 예시
이러한 엔비디아 호실적에 반 엔비디아 전선이 생성되고 있다. 그 전선 선두에는 AMD가 있다. AMD는 2023년 12월 최신 GPU인 MI300X를 출시하였다. MI300X는 엔비디아의 H100와 견줘 2.4배 더 많은 고대역폭메모리(HBM)를 탑재하고 있고, 대역폭도 1.6배 이상이다. 이러한 스펫을 바탕으로 AI 학습과 추론 능력에서도 엔비디아 GPU보다 최대 2배 앞선 성능을 제공할 수 있다 주장한다.
[그림] AMD의 최신 GPU ‘MI300X’와 MI300X가 활용되는 AI칩 ‘MI300’
국내 기업들에게도 엔비디아의 훈풍이 퍼지고 있다. 대표적으로 엔비디아의 AI GPU(H100)를 공급 받아 구축한 AI 데이터센터 구축 산업이다. 최근, NHN클라우드는 아시아 최초로 H100을 도입하여 AI 데이터센터 구축하고 있다. 이러한 최신 GPU를 활용한 클라우드 기반 AI 데이터센터 구축은 NHN 뿐 아니라, 네이버, 삼성SDS 등 국내 모든 대기업들의 수요가 높은 시장이다. 이러한 시장의 열기에 이에 관련한 기업들 또한 새로운 기회가 열리고 있다.
[그림] 엔비디아의 최신 GPU H100이 적용될 NHN의 데이터센터와 데이터센터 시장 전망
이 외에도 국내 반도체 후공정 기업들과의 연계도 끈끈해진다. 국내 패키징·테스트 전문기업(OSAT)들과의 협업이 중요해지고 있다. 국내 OSAT 기업들은 엔비디아가 발주한 AI 반도체를 미국 PMIC 팹리스가 설계를 받아, 패키징하고 테스트하는 과정을 협력한다. 이밖에 AI칩과 이에 적용될 고대역폭메모리(HBM)를 위한 SK하이닉스와 공급계약이 체결되었다. 이를 위한, 국내 반도체 관련 기업들도 높은 성과가 예상된다.
[그림] 엔비디아와 협력할 국내 OSAT 기업들과 후공정 프로세스 개요
특허법인 BLT 리서치 센터는 “개화한 AI 시장과 GPU 시장은 실시간으로 변화하고 있으며, 이러한 시장에 국내 기업들도 경쟁력 있는 기술을 확보한다면 새로운 시대를 선점할 기회가 도래할 것으로 기대된다.”고 전했다.
특허법인 BLT는 2024년 현재 2천여개 이상의 혁신 스타트업들이 선택한 파트너로 IP 확보 및 대응전략수립은 물론 투자유치, 기술특례상장 등의 IP를 활용한 비즈니스 지원을 통해 기업의 성장과 성공을 함께 해왔다.
'BLT 테크체크'는 매주 최근 투자유치가 있는 기술분야를 소개합니다.
필자 소개
특허법인 BLT 리서치 센터