[출고기] NVIDIA DGX A100 Server 납품

 

안녕하세요. 

주식회사 아인시스 아이엔씨 입니다.

 

그동안 저희는 NVIDIA  H100 ,H200 GPU 서버 등 최신 세대의 고성능 GPU서버 출고 소식을 소개해 드렸는데요.

요즘 NVIDIA 제품은 정말 '핫한 감자'라는 표현이 잘 어울리는 것 같습니다.

AI 이야기가 나오는 곳이라면 NVIDIA GPU가 빠지지 않고 등장할 정도로 많은 관심을 받고 있는데요.

 

이번에도 역시 NVIDIA 제품 입니다.

이번에 소개해 드릴 제품은 조금 특별합니다.

바로 NVIDIA DGX A100 GPU 서버입니다.

고객사의 정보 보호를 위해 구체적인 업체명과 프로젝트 환경은 공개가 어렵습니다.

양해를 부탁 드립니다.

 

이번 포스팅에서는 실제 출고 사례와 함께 NVIDIA DGX A100의 주요 특징과 기업 및 연구기관에서 왜 DGX 시스템을 선택하는지 살펴보겠습니다.

 

DGX A100

 

NVIDIA DGX A100이란?

 

 

NVIDIA DGX A100은 NVIDIA의 Ampere 아키텍처 기반 A100 Tensor Core GPU를 탑재한 AI 및 HPC용 통합 컴퓨팅 시스템입니다.

DGX A100은 단순히 여러 장의 GPU를 장착한 서버와는 조금 다른 개념의 시스템입니다.

고성능 GPU를 중심으로

 

NVIDIA A100 Tensor Core GPU
NVIDIA NVLink
NVIDIA NVSwitch

고속 네트워크

NVMe 스토리지
NVIDIA DGX 소프트웨어 환경 등을 하나의 시스템으로 통합했다는 것이 DGX A100의 중요한 특징입니다.

특히 8개의 A100 GPU를  NVLink와 NVswitch 기반의 고속 인터커넥트로 연결하여 여러 GPU를 하나의 시스템처럼 활용할 수 있도록 설계되었습니다.

즉, 단순히 "GPU가 몇장 들어갔는가?"만 보는 것이 아니라,

GPU 연산 성능 + GPU간 통신 + 메모리 + 스토리지 + 네트워크 를 하나의 통합된 시스템 관점에서 볼 수 있다는 것이 DGX A100의 특징이라고 할 수 있습니다.

 

8개의 NVIDIA  A100 GPU

 

항목	사양
제품명	NVIDIA DGX A100
CPU	AMD EPYC 7742 x2 (64코어/128스레드 x2소켓 = 총 128코어 / 256스레드)
시스템 메모리	1TB DDR4
GPU	NVIDIA A100-SXM4-40GB x8
GPU 메모리 총합	320GB (40GB x8)
NVLink	GPU당 12개 링크, 링크 속도 25GB/s (NVSwitch 기반, 총 600GB/s 양방향 대역폭)
스토리지	OS용 NVMe 2x1.92TB(RAID1) + 데이터용 NVMe 8x3.84TB(RAID0), 총 약 15TB
네트워크	8x 단일포트 Mellanox ConnectX-6 (최대 200Gb/s HDR IB/이더넷), 1x 듀얼포트 ConnectX-6, 1x 1GbE 관리포트

 

8개의 A100 GPU를 통해 총 320GB의 GPU 메모리를 제공하는 구성입니다.
A100은 NVIDIA Ampere 아키텍처를 기반으로 하는 데이터센터용 GPU로, AI 학습과 추론뿐만 아니라 데이터 분석 및 고성능 컴퓨팅(HPC)등 다양한 GPU 가속 워크로드를 지원 합니다.

 

특히 A100은 Tensor Core를 통한 AI 연산 가속과 함께 FP64기반의 HPC 연산도 지원하기 때문에 AI뿐만 아니라 과학·공학 분야의 고성능 연산 환경에서도 활용되어 왔습니다.

또한 A100은 MIG(Multi-Instance GPU) 기능을 지원합니다.

 

MIG는 하나의 GPU를 여러 개의 독립적인 GPU 인스턴스로 분할하여 사용할 수 있는 기능으로, 하나의 GPU 자원을 특정 작업에만 사용하는 것이 아니라 여러 사용자 또는 다양한 워크로드에서 효율적으로 활용할 수 있도록 지원합니다.

 

이러한 기능은 여러 AI 작업을 동시에 수행하거나 GPU자원을 효율적으로 배분해야 하는 환경에서 활용할 수 있습니다.

GPU서버에서 중요한 것은 GPU만이 아닙니다.

 

고성능 GPU 서버를 구성할 때 많은 분들이 가장 먼저 확인하는 부분은 GPU의 종류와 수량입니다.

물론 GPU의 연산 성능은 매우 중요한 요소입니다.

하지만 여러 GPU를 동시에 사용하는 AI 학습이나 HPC 환경에서는 GPU와 GPU사이의 데이터 통신 속도 역시 매우 중요한 요소입니다.

DGX A100은 이러한 부분을 고려하여 A100 GPU와 NVIDIA NVLink, NVSwitch를 기반으로 한 고속 GPU 인터커넥트 구조를 제공합니다.

8-GPU 구성에서는 NVIDIA NVSwitch를 통해 GPU간  높은 대역폭의 통신 환경을 구성할 수 있습니다.

특히 대규모 AI 모델 학습이나 여러 GPU를 동시에 사용하는 연산에서는 GPU 자체의 성능 뿐만 아니라 GPU 간 통신 구조가 전체 시스템 성능에 영향을 줄 수 있습니다.

 

즉, GPU의 연산 성능 + GPU 간 통신 + CPU + 메모리 + 스토리지 + 네트워크를 하나의 통합된 시스템 관점에서 볼 수 있다는 것이 DGX A100의 중요한 특징입니다.

 

 

 

이번 출고 제품의 세부 구성은 프로젝트 및 고객의 요구사항에 따라 달라질 수 있지만, DGX A100은 NVIDIA A100 -SXM4 40GB GPU 8개, 총 320GB의 GPU메모리를 갖춘 구성입니다.

※ 실제 출고 제품의 구성은 모델 및 계약 시점, 옵션에 따라 달라질 수 있습니다.

 

 

 

 

왜 NVIDIA DGX A100인가?

AI 인프라를 구축할 때 단순히 GPU 성능만 비교하는 것과 실제 AI 시스템을 구축하는 것은 차이가 있습니다.
GPU 서버를 처음 구축하는 경우에는

GPU 선정 → 서버 구성 → GPU 간 통신 → 네트워크 → 스토리지 → 소프트웨어 환경 → 운영까지 함께 고려해야 하기 때문입니다.

 

 

 

DGX A100은 이러한 AI 인프라 구성 요소를 NVIDIA가 하나의 시스템으로 통합하여 제공한다는 점에서 의미가 있습니다.

고성능 GPU를 여러 장 장착하는 것만으로 대규모 AI 시스템이 완성되는 것은 아닙니다.

GPU 간 통신을 위한 인터커넥트, CPU와 시스템 메모리, 스토리지, 네트워크 환경 그리고 소프트웨어 환경까지 서로 유기적으로 연결되어야 실제 AI/HPC 워크로드를 안정적으로 운영할 수 있습니다.

 

특히 기업이나 연구기관에서 대규모 AI 학습 환경을 구축할 때 개별 부품을 조합하여 시스템을 구성하는 방식과 비교해, 검증된 플랫폼을 기반으로 AI 인프라를 구축할 수 있다는 것이 DGX 시스템의 주요 장점이라고 할 수 있습니다.

 

따라서 DGX A100 역시

* AI/딥러닝 모델 학습

* AI 추론

* 대규모 데이터 분석

* 연구·개발 환경

* HPC 연산

* GPU 가속 애플리케이션등 다양한 고성능 컴퓨팅 환경에 활용할 수 있습니다.

특히 A100은 Tensor Core를 통해 AI 연산을 가속하면서도 FP64 기반의 HPC 연산을 지원하기 때문에 AI와 과학·공학 분야의 고성능 연산을 함께 고려해야 하는 환경에서 활용도가 높았습니다.

 

이번 출고를 준비하면서

이번 DGX A100 출고를 준비하면서 개인적으로도 조금 재미있었습니다.

요즘은 H100,H200처럼 계속해서 새로운 GPU가 등장하고 있지만, 이번에는 오랜 시간 AI 시장에서 활약해 온 A100을 다시 만나게 되었는데요.

 

최신 제품만큼이나 오랜 시간속에서 검증된 기술이 가지고 있는 가치도 있다는 생각이 들었습니다.

이번에는 NVIDIA DGX A100 GPU 서버 출고 소식을 전해드렸습니다.

 

GPU 서버를 선택할 때는 단순히 최신 제품인지 여부만 보는 것보다 사용 목적과 AI 모델의 규모, 기존 인프라 환경, 필요한 연산 성능과 예산 등을 종합적으로 고려하는 것이 중요합니다.

 

NVIDIA GPU 서버, 도입부터 출고까지

 

아인시스아이엔씨는 NVIDIA GPU 서버 구성 및 공급부터 AI/HPC 인프라 구축에 필요한 하드웨어 및 라이선스까지 고객사의 환경과 요구사항을 고려하여 적합한 구성을 제안드리고 있습니다.
H100, H200과 같은 최신 NVIDIA GPU 서버부터 이번에 소개해 드린 A100 기반의 검증된 AI 인프라까지,
프로젝트의 목적과 예산, 필요한 GPU 성능 및 시스템 환경을 종합적으로 검토하여 적합한 GPU 서버 구성을 함께 찾아드립니다.
AI 인프라 구축을 준비하고 계시거나 기존 GPU 서버의 증설 및 교체를 검토하고 계시다면 언제든지 문의해 주세요.
감사합니다.

 

감사 합니다.

https://www.einsis.com/ko/contact-us

(주)아인시스아이엔씨