KR6288V2 | Artificial Intelligence Servers

Introducción

KR6288-E2-A0-R0-00, la plataforma de entrenamiento a hiperescala de 6U equipada con dos procesadores AMD EPYCTM serie 9004 y un módulo HGX-Hopper-8GPU de NVIDIA, ofrece un rendimiento líder en la industria, la máxima expansión de E/S y una eficiencia energética ultraelevada. La arquitectura del sistema, optimizada con precisión, con un ancho de banda de CPU a GPU de 4x, un ancho de banda de red de hasta 4,0 Tbps, una memoria del sistema de 8 TB y un almacenamiento local masivo de 300 TB, puede satisfacer plenamente las demandas de comunicación y capacidad del entrenamiento del paralelismo multidimensional para modelos a escala gigante. Las 12 expansiones PCIe se pueden configurar de forma flexible con CX7, OCP3.0 y varias SmartNIC, lo que la convierte en una solución ideal tanto para la implementación local como en la nube. Está diseñado para gestionar las tareas informáticas de IA más exigentes, como el entrenamiento de modelos Transformer de billones de parámetros, sistemas de recomendación masiva, AIGC y cargas de trabajo de metaverso.

Características principales

Adaptación a múltiples escenarios

Diseño modular completo y configuraciones extremadamente flexibles que satisfacen tanto la implementación local como en la nube
Aproveche fácilmente el entrenamiento de modelos a gran escala, como GPT-3, LLaMA y Stable diffusion.
Soluciones SuperPod diversificadas que aceleran la innovación más puntera, como AIGC, AI4Science y Metaverse
Liderar el diseño arquitectónico

Conectividad ultrarrápida entre nodos con una mejora de 4 veces el ancho de banda entre CPU y GPU
Red entre nodos escalable y ultrarrápida con un ancho de banda de hasta 4,0 Tbps sin bloqueo
Arquitectura optimizada desde el punto de vista del clúster, GPU: Red informática: Red de almacenamiento = 8:8:2
Eficiencia energética optimizada

Techo de disipación de calor refrigerado por aire extremadamente bajo, menos ventilador, mayor eficiencia energética
Fuente de alimentación separada de 54 V y 12 V con redundancia N+N que reduce la pérdida de conversión de energía
Diseño de refrigeración líquida directa con más del 80 % de cobertura de la placa fría, PUE≤1,15
Rendimiento sin precedentes

Equipado con 8* GPU NVIDIA de última generación en un chasis 6U, TDP de hasta 700 W
Compatible con 2 procesadores AMD EPYC^TM serie 9004
Rendimiento líder en el sector con un rendimiento de IA de 16 PFlops con una mejora x3
La bibioteca Transformer Engine acelera considerablemente la velocidad de entrenamiento de los grandes modelos de GPT.

TEspecificaciones técnicas

Elemento	KR6288-E2-A0-R0-00
Altura	6U
GPU	1 módulo NVIDIA HGX-Hopper-8GPU, TDP de hasta 700 W por GPU
Procesador	2 procesadores AMD EPYC^TM serie 9004, cTDP máximo de 400 W
Memoria	24 módulos DIMM DDR5, hasta 4800 MT/s
Almacenamiento	24 unidades SSD de 2,5 pulgadas, hasta 16 NVMe U.2
M.2	2 NVMe M.2 integradas (opcionales)
Ranura PCIe	Admite 10x ranuras PCIe Gen5 x16. Una ranura PCIe Gen5 x16 puede sustituirse por dos ranuras x16 (tasa PCIe Gen5 x8). Compatibilidad opcional con Bluefield-3, CX7 y varias SmartNIC
RAID	Compatibilidad opcional con RAID 0/1/10/5/50/6/60, etc., admite protección de supercondensador de caché
E/S delanteras	1x USB 3.0, 1x USB 2.0, 1x VGA
E/S trasera	2x USB3.0, 1x MicroUSB, 1x VGA, 1x RJ45
OCP	Compatibilidad opcional 1x OCP 3.0, admite NCSI
Gestión	Módulo de gestión DC-SCM BMC con Aspeed 2600
TPM	TPM 2,0
Ventilador	Región de la GPU: 6x ventiladores de 54 V intercambiables en caliente con redundancia N+1 Región de la CPU: 6x ventiladores de 12V intercambiables en caliente con redundancia N+1
Alimentación	2x 12 V 3200 W y 6x 54 V 2700 W, fuente de alimentación Titanium CRPS con redundancia N+N
Tamaño	Anchura: 447 mm, Altura: 263 mm, Longitud: 860 mm
Peso	Peso neto 92 kg（Peso transversal: 107 kg）
Medio ambiente Parámetros	Temperatura de trabajo：10 ℃~35 ℃; Temperatura de almacenamiento：-40 ℃~70 ℃
Medio ambiente Parámetros	Humedad de trabajo：10 %~80 % H.R.；Humedad de almacenamiento：10 %~93 % H.R.

Información relevante

Libro blanco de KR6288V2
Ficha técnica de KR6288V2