NVIDIA
NVIDIA, líder en tecnología de procesamiento de gráficos, ha presentado su próxima generación de chips de supercomputadora basados en inteligencia artificial (IA) que desempeñarán un papel importante en futuros avances en el aprendizaje profundo y los modelos de lenguaje grandes (LLMs), como el GPT-4 de OpenAI. Estos avances tecnológicos representan un salto significativo respecto a la generación anterior y están destinados a ser utilizados en centros de datos y supercomputadoras para tareas como la predicción del clima y del cambio climático, el descubrimiento de medicamentos, la computación cuántica y mucho más.
El producto clave de NVIDIA es el HGX H200, un chip basado en la arquitectura "Hopper" de NVIDIA, que reemplaza al popular chip H100. Este chip es el primero de la compañía en utilizar la memoria HBM3e, que es más rápida y tiene mayor capacidad, lo que lo hace más adecuado para modelos de lenguaje grandes. Con HBM3e, el NVIDIA H200 ofrece 141GB de memoria a 4.8 terabytes por segundo, casi el doble de capacidad y 2.4 veces más ancho de banda en comparación con su predecesor, el NVIDIA A100.
En términos de beneficios para la IA, NVIDIA afirma que el HGX H200 duplica la velocidad de inferencia en el modelo Llama 2, un LLM con 70 mil millones de parámetros, en comparación con el H100. Estará disponible en configuraciones de 4 y 8 vías que son compatibles tanto con el software como con el hardware de los sistemas H100. Funcionará en todo tipo de centros de datos (locales, en la nube, híbridos y en el borde) y será implementado por Amazon Web Services, Google Cloud, Microsoft Azure y Oracle Cloud Infrastructure, entre otros. Se espera que esté disponible en el segundo trimestre de 2024.
El otro producto clave de NVIDIA es el GH200 Grace Hopper, un "superchip" que combina el HGX H200 GPU con la CPU NVIDIA Grace basada en Arm utilizando la interconexión NVLink-C2C de la compañía. Está diseñado para supercomputadoras y permitirá a científicos e investigadores abordar los problemas más desafiantes del mundo al acelerar aplicaciones de IA y HPC que manejan terabytes de datos.
NVIDIA
El GH200 se utilizará en más de 40 supercomputadoras de IA en centros de investigación, fabricantes de sistemas y proveedores de servicios en la nube, incluyendo Dell, Eviden, Hewlett Packard Enterprise (HPE), Lenovo, QCT y Supermicro. Destaca entre ellos el superordenador Cray EX2500 de HPE, que utilizará cuatro GH200 y se escalará a decenas de miles de nodos con el superchip Grace Hopper.
Uno de los supercomputadores más destacados que utilizará el GH200 será JUPITER, ubicado en las instalaciones de Jülich en Alemania. Se convertirá en el "sistema de IA más poderoso del mundo" cuando se instale en 2024. JUPITER utiliza una arquitectura refrigerada por líquido, con un módulo de refuerzo que consta de casi 24,000 superchips NVIDIA GH200 interconectados con la plataforma de red NVIDIA Quantum-2 InfiniBand.
NVIDIA
Según NVIDIA, JUPITER ayudará a impulsar avances científicos en áreas como la predicción del clima y del tiempo, generando simulaciones de clima y tiempo de alta resolución con visualización interactiva. También se empleará en el descubrimiento de medicamentos, la computación cuántica y la ingeniería industrial. Muchas de estas áreas utilizan soluciones de software personalizadas de NVIDIA que facilitan el desarrollo, pero también hacen que los grupos de supercomputación dependan del hardware de NVIDIA.
Estas nuevas tecnologías serán clave para NVIDIA, que ahora genera la mayor parte de sus ingresos en los segmentos de IA y centros de datos. Solo el último trimestre, la compañía registró ingresos récord de $10.32 mil millones USD en esa área (de un total de $13.51 mil millones USD), un aumento del 171% respecto al año anterior. Sin duda, NVIDIA espera que los nuevos chips de supercomputadora le ayuden a mantener esta tendencia. La semana pasada, NVIDIA rompió su propio récord de referencia de entrenamiento de IA utilizando tecnología H100 anterior, por lo que su nueva tecnología debería ayudarle a extender su ventaja sobre los competidores en un sector que ya domina.