"엔비디아 컨퍼런스 콜 리뷰"

Nvidia Rally의 원인은 AI 골드러시

AI 관련 수요가 클 거라는 월가의 예측이 있었지만, 엔비디아의 실적 발표는 예측을 훨씬 뛰어넘는 무지막지한 거였음. 엔비디아가 설계하는 칩을 위탁 생산하는 TSMC가 예측하길, 향후 5년간 AI 칩 수요가 매년 "50%"씩 늘어날 거라고(...) 엔비디아가 이렇게 노나는 이유는 이들의 GPU 성능이 가장 좋기 때문. 엔비디아의 주요 고객은 클라우드 회사인데, AI 칩 주문에 CAPEX를 몰빵하느라 범용 서버칩 예산은 줄어들고 있다고. MS가 AI관련 지출이 제일 많은 이유도 이들이 chatGPT를 갖고 있기 때문. AI 언어모델 훈련은 물량전+타임어택이기 때문에 있는 돈 없는 돈 다 퍼붓는 중. 빚 내서라도 사온다. 내 모델의 훈련이 늦으면 나중에 국물도 없으니까.

 

 

석디님 글 퍼온거...

엔비디아 Q2'23 컨퍼런스콜  中 핵심 내용 요약

t.me/seokd_platform

1. CPU와 GPU를 합친 슈퍼칩 GH200 출시 예정

» CPU 그레이스(Grace) 아키텍처와 GPU 호퍼(Hopper) 아키텍처를 합친 GH200은 HBM3 및 HBM3e과 결합해 AI 가속화에 특화된 칩

» 1세대 GH100 DGX(서버제품)의 경우 NVLink를 통해 8개의 GPU만 연결했던 반면 GH200 기반 DGX에서는 256개 GPU를 연결해 하나로 작동하도록 지원.

※ NVLink = 근거리 반도체 통신을 위한 유선 기반 통신 프로토콜로 GPU 간 병목현상을 해결하는 데 사용하는 기술

»  HBM3 탑재한 슈퍼칩 GH200 1세대 2023년 3분기 출하 예정, HBM3e가 탑재된 2세대 버전은 2024년 2분기에 출시 예정

2. 범용 데이터센터 GPU L40S

» 최근 8월에 발표한 L40S는 서버용 GPU로 AI 언어모델 훈련 및 추론, 3D 그래픽 및 렌더링에 이르기까지 차세대 데이터센터 워크로드를 지원

» H100은 대규모 언어 모델과 매우 큰 모델 및 대량의 데이터 처리를 위해 설계된 반면 L40S는 사전 학습된 모델을 미세조정(파인튜닝)하는 데 중점을 두고 있음

» 기존 하이퍼스케일 데이터센터에 L40S 서버를 쉽게 설치할 수 있음 표준 랙, 표준 서버로 제공되며 모든 것이 표준으로 제공돼 설치 용이

3. 게이밍 분야의 생성 AI 툴 

» 맞춤형 AI 모델 파운드리 서비스인 게임용 NVIDIA 아바타 클라우드 엔진(ACE)를 발표

» 게임 개발자는 ACE를 통해 게임 내 NPC에 지능을 부여할 수 있습니다.

4. 가속 컴퓨팅은 AI 개발 뿐만 아니라 에너지 효율의 목적도 존재

» 가속 컴퓨팅은 현재 컴퓨팅을 수행하는 가장 비용 효율적이고, 가장 에너지 효율적이며, 가장 성능이 뛰어난 방법 

» 기존 범용 컴퓨팅을 대규모로 사용하는 것은 더 이상 최선의 방법이 아님. 에너지 비용이 너무 많이 들고, 비용이 너무 비싸며, 애플리케이션의 성능이 너무 느리기 때문.

» 주요 IT 기업들 대부분은 기존 범용 컴퓨팅에서 가속 컴퓨팅으로 전환하고 있음. 매년 약 1조 달러 규모의 데이터센터 시장은 가속 컴퓨팅에 0.25조 달러의 자본지출을 할 것으로 예상.

5. 엔비디아 데이터센터와 깊이 연관된 VMware

» 데이터센터 관리 시스템, 운영 체제, 보안 및 소프트웨어 지원은 VMware가 제공. 

» VMware는 CPU 가상화뿐만 아니라 GPU의 분산 컴퓨팅 기능을 지원할 수 있도록 협력해 왔으며 고성능 네트워킹을 위한 BlueField(데이터 처리 장치, DPU)를 지원.

» 엔비디아의 모든 생성 AI 라이브러리는 전 세계 약 수십만 명의 VMware 고객에게 도달할 수 있음. 이는 VMware Private AI Foundation라는 이름의 서비스로 제공

6. 중국 수출 제재에도 불구하고 강력한 중국의 수요

» 중국 수요는 컴퓨팅 및 네트워킹 솔루션을 포함해 데이터센터 매출의 20~25%에 해당

» 중국 수출에 대한 추가 제재가 있더라도 수익에  중대한 영향을 미치진 않을 것이다.

7. 젠슨 황이 언급한 엔비디아를 특별하게 만드는 3가지

» 첫 번째는 아키텍처. 데이터 처리, AI 모델 훈련 및 추론, 실시간 음성처리, 컴퓨터 비전에 이르기까지 모든 컴퓨팅 기능을 가속화합니다.

» 두 번째는 설치 기반. 엔비디아는 전 세계에 수억 개의 CUDA 호환 GPU를 보유하고 있으며 이는 개발자가 최종 사용자에게 도달하고 비즈니스를 성장시키기 위한 대규모 설치 기반이 되고 있음.

» 세 번째는 산업 도달 범위. 클라우드, 엔터프라이즈 데이터센터, 산업용 엣지, PC, 워크스테이션, 계측기 및 로봇까지 이름. 액센츄어, 어도비, 게티, 허깅 페이스, 스노우플레이크, 서비스나우, VMware, WPP 등 글로벌 IT 기업과 델, HPE, 레노버과 같은 엔터프라이즈 시스템 파트너와 함께 전 세계 기업에 생성 AI를 도입 중 

※ 3줄 요약

① AI 칩이 잘 팔리는 것은 AI 모델 개발 뿐만 아니라 데이터센터 에너지 효율성 향상을 위한 대형 트렌드

② GH200 기반 DGX 플랫폼과 서버용 GPU L40S는 H100 이상 중욯나 제품이 될 것

③ 엔비디아 가속 컴퓨팅 솔루션의 산업 도달 범위를 확대하기 위해 VMware 외 여러 회사와 파트너십을 형성 중.