[출고기] NVIDIA DGX H100 서버 출고

 

 

안녕하세요. 

아인시스 아이엔씨 입니다.

 

최근 당사에 중고로 입고되어 있던 NVIDIA DGX H100 GPU 서버를 협력사에 성공적으로 납품하였습니다.

고객사의 요청에 따라 상세한 납품 기업 및 구축 환경은 공개하기 어려운 점 너른 양해 부탁드립니다.

 

이전에 NVIDIA DGX A100 서버 납품 사례를 블로그를 통해 소개해 드린 적이 있는데, 이번에는 그 후속 세대 장비인 DGX H100 장비 출고가 이루어졌습니다.

 

해당 제품은 중고 상태임에도 억대에 이르는 고성능 AI 서버입니다. 

장비 특성상 엄청난 무게와 발열 설계로 인해 운송 및 설치 과정에서 매우 세심한 관리가 필수적입니다.

 

이에 당사 기술팀에서 사전에 기본적인 장비 점검 및 간단한 동작 테스트까지 철저하게 마친 후 안전하게 출고를 진행하였습니다.

 

 

 

H100 칩셋 공식 이미지 출처: NVIDIA 공식 블로그

출처: https://developer.nvidia.com/ko-kr/blog/nvidia-hopper-architecture-in-depth/ NVIDIA 공식 기술블로그 

NVIDIA Hopper 아키텍처 심층 분석하기

 

 

납품된 장비에 대해 간단히 소개해 드리겠습니다.

 

NVIDIA DGX H100(8GPU) 서버는 현재 글로벌 엔터프라이즈 AI 및 HPC 환경에서 가장 많이 활용되는 초고성능 AI 인프라 장비 중 하나입니다.

주로 대규모 AI 모델 학습이나 복잡한 딥러닝 연산을 처리하기 위한 목적으로 사용됩니다.

 

주요 핵심 스펙 및 특징

 

8개의 H100 Tensor Core GPU 탑재

 

엔비디아 NVIDIA H100 Tensor Core GPU가 한 대의 서버에 8개 장착되어 있어 대량의 데이터를 동시에 병렬로 처리할 수 있습니다.

 

80GB HBM3 메모리

 

각 GPU에는 80GB의 초고속 메모리가 탑재되어 있으며 총 640GB GPU 메모리를 제공합니다.
대규모 AI 모델을 메모리에 올려 빠르게 연산하는 데 필수적인 구조입니다.

 

NVLink 및 NVSwitch 기술

 

NVIDIA NVLink 및 NVIDIA NVSwitch 기술을 통해 8개의 GPU가 하나의 거대한 GPU처럼 동작하도록 구성됩니다. GPU 간 데이터 전송 속도는 초당 약 900GB 수준으로 병목 현상을 최소화합니다.

 

초고속 네트워크 (ConnectX-7)

NVIDIA ConnectX‑7 네트워크 인터페이스를 통해 여러 대의 GPU 서버를 클러스터로 구성할 때 고속 네트워크 환경을 제공합니다.  이를 통해 데이터센터 규모의 AI 인프라에서도 낮은 지연시간과 높은 처리 성능을 유지할 수 있습니다.

 

 

 

BMC설정

H100(80GB) BMC 확인 가능

 

주요 활용 분야 

 

생성형 AI 및 LLM

텍스트, 이미지, 영상 등을 생성하는 대규모 AI 모델 학습 및 추론 환경

디지털 트윈 및 메타버스

NVIDIA Omniverse 기반 3D 시뮬레이션 및 가상 환경 구축

빅데이터 분석 및 과학 연산

신약 개발, 기후 분석, 자율주행 데이터 처리 등 대규모 연산 환경

 

 

 

 

 

결론적으로 해당 장비는 단일 서버 섀시에서 구현 가능한 최고 수준의 AI연산 성능을 제공하는 시스템 중 하나라는 생각이 듭니다. ^^

 

저희 아인시스에서는 NVIDIA GPU 서버뿐만 아니라, 다양한 제조사의 AI 서버 및 고성능 인프라 장비를 전문적으로 공급하고 있습니다. 

 

GPU 서버 및 AI인프라 도입과 관련하여 궁금한 점이 있으시면 언제든지 편하게 문의해 주시기 바랍니다.

 

감사합니다.

 

 

https://www.einsis.com/ko/contact-us

(주)아인시스아이엔씨