AWS y NVIDIA anuncian una colaboración estratégica

AWS re:Invent: Amazon Web Services, Inc. (AWS), una empresa de Amazon.com, Inc. y NVIDIA anunciaron una ampliación de su colaboración estratégica para ofrecer las soluciones más avanzadas. infraestructura, software y servicios para impulsar las innovaciones de inteligencia artificial (IA) generativa de los clientes.

Las empresas reunirán lo mejor de las tecnologías NVIDIA y AWS, desde los sistemas multinodo más nuevos de NVIDIA con GPU, CPU y software de inteligencia artificial de última generación, hasta la seguridad y virtualización avanzada de AWS Nitro System, la interconexión Elastic Fabric Adapter (EFA) y UltraCluster. escalabilidad, que son ideales para entrenar modelos básicos y crear aplicaciones de IA generativa.

La colaboración ampliada se basa en una relación de larga data que ha impulsado la era de la IA generativa al ofrecer a los pioneros del aprendizaje automático (ML) el rendimiento informático necesario para avanzar en lo último en estas tecnologías.

Como parte de la colaboración ampliada para potenciar la IA generativa en todas las industrias:

• AWS será el primer proveedor de nube en llevar los superchips NVIDIA® GH200 Grace Hopper con la nueva tecnología NVLink™ de múltiples nodos a la nube. La plataforma multinodo NVIDIA GH200 NVL32 conecta 32 superchips Grace Hopper con tecnologías NVIDIA NVLink y NVSwitch™ en una sola instancia. La plataforma estará disponible en instancias de Amazon Elastic Compute Cloud (Amazon EC2) conectadas con la potente red de Amazon (EFA), respaldada por virtualización avanzada (AWS Nitro System) y agrupación en clústeres a hiperescala (Amazon EC2 UltraClusters), lo que permitirá a los clientes conjuntos escalar. a miles de Superchips GH200.
• NVIDIA y AWS colaborarán para alojar NVIDIA DGX™ Cloud , el entrenamiento de IA como servicio de NVIDIA, en AWS. Será la primera nube DGX con GH200 NVL32, proporcionando a los desarrolladores la mayor memoria compartida en una sola instancia. DGX Cloud en AWS acelerará el entrenamiento de IA generativa de vanguardia y grandes modelos de lenguaje que pueden alcanzar más de 1 billón de parámetros.
• NVIDIA y AWS se están asociando en el Proyecto Ceiba para diseñar la supercomputadora de IA con GPU más rápida del mundo: un sistema a escala con GH200 NVL32 e interconexión Amazon EFA alojado por AWS para el propio equipo de investigación y desarrollo de NVIDIA. NVIDIA utilizará esta supercomputadora, la primera de su tipo, que cuenta con 16,384 Superchips NVIDIA GH200 y es capaz de procesar 65 exaflops de IA, para impulsar su próxima ola de innovación en IA generativa.
• AWS presentará tres nuevas instancias Amazon EC2 adicionales: instancias P5e, con tecnología de GPU NVIDIA H200 Tensor Core , para cargas de trabajo de IA y HPC generativas a gran escala y de vanguardia, e instancias G6 y G6e, con tecnología de GPU NVIDIA L4 y GPU NVIDIA L40S. , respectivamente, para un amplio conjunto de aplicaciones, como cargas de trabajo de ajuste fino de IA, inferencia, gráficos y video. Las instancias G6e son particularmente adecuadas para desarrollar flujos de trabajo 3D, gemelos digitales y otras aplicaciones utilizando NVIDIA Omniverse™ , una plataforma para conectar y crear aplicaciones 3D generativas habilitadas para IA.

“AWS y NVIDIA han colaborado durante más de 13 años, comenzando con la primera instancia de GPU en la nube del mundo. Hoy en día, ofrecemos la gama más amplia de soluciones de GPU NVIDIA para cargas de trabajo que incluyen gráficos, juegos, computación de alto rendimiento, aprendizaje automático y, ahora, IA generativa”, afirmó Adam Selipsky, director ejecutivo de AWS. «Continuamos innovando con NVIDIA para hacer de AWS el mejor lugar para ejecutar GPU, combinando los Superchips NVIDIA Grace Hopper de próxima generación con la poderosa red EFA de AWS, el clustering a hiperescala de EC2 UltraClusters y las capacidades avanzadas de virtualización de Nitro».

«La IA generativa está transformando las cargas de trabajo en la nube y colocando la computación acelerada en la base de la generación de contenidos diversos», afirmó Jensen Huang, fundador y director ejecutivo de NVIDIA. “Impulsados ​​por una misión común de ofrecer IA generativa de última generación y rentable a cada cliente, NVIDIA y AWS están colaborando en toda la pila informática, abarcando la infraestructura de IA, bibliotecas de aceleración, modelos básicos y servicios de IA generativa. «

Las nuevas instancias Amazon EC2 combinan lo último en tecnología de NVIDIA y AWS

AWS será el primer proveedor de nube en ofrecer superchips NVIDIA GH200 Grace Hopper con tecnología NVLink de múltiples nodos. Cada Superchip GH200 combina una CPU Grace basada en Arm con una GPU de arquitectura NVIDIA Hopper™ en el mismo módulo. Una única instancia de Amazon EC2 con GH200 NVL32 puede proporcionar hasta 20 TB de memoria compartida para impulsar cargas de trabajo a escala de terabytes.

Estas instancias aprovecharán la interconexión Elastic Fabric Adapter (EFA) de tercera generación de AWS, que proporciona hasta 400 Gbps por Superchip de rendimiento de red de baja latencia y alto ancho de banda, lo que permitirá a los clientes escalar a miles de Superchips GH200 en EC2 UltraClusters.

Las instancias de AWS con GH200 NVL32 brindarán a los clientes acceso bajo demanda a un rendimiento de clase supercomputadora, lo cual es fundamental para cargas de trabajo de IA/ML a gran escala que deben distribuirse en múltiples nodos para cargas de trabajo de IA generativa complejas, que abarcan FM, sistemas de recomendación y bases de datos vectoriales.

Las instancias EC2 con tecnología NVIDIA GH200 contarán con 4,5 TB de memoria HBM3e, un aumento de 7,2 veces en comparación con las instancias EC2 P5d con tecnología H100 de la generación actual, lo que permitirá a los clientes ejecutar modelos más grandes y, al mismo tiempo, mejorar el rendimiento del entrenamiento. Además, la interconexión de memoria de CPU a GPU proporciona un ancho de banda hasta 7 veces mayor que PCIe, lo que permite comunicaciones de chip a chip que amplían la memoria total disponible para las aplicaciones.

Las instancias de AWS con GH200 NVL32 serán la primera infraestructura de IA en AWS que contará con refrigeración líquida para ayudar a garantizar que los racks de servidores densamente poblados puedan operar de manera eficiente con el máximo rendimiento.

Las instancias EC2 con GH200 NVL32 también se beneficiarán del sistema AWS Nitro, la plataforma subyacente para las instancias EC2 de próxima generación. El sistema Nitro descarga E/S para funciones desde la CPU/GPU host al hardware especializado para ofrecer un rendimiento más consistente, mientras que su seguridad mejorada protege el código y los datos del cliente durante el procesamiento.

AWS es el primero en alojar NVIDIA DGX Cloud con tecnología de Grace Hopper

AWS se asociará con NVIDIA para alojar NVIDIA DGX Cloud con tecnología de infraestructura NVLink GH200 NVL32. NVIDIA DGX Cloud es un servicio de supercomputación de IA que brinda a las empresas acceso rápido a supercomputación de múltiples nodos para entrenar los modelos LLM y de IA generativa más complejos, con el software NVIDIA AI Enterprise integrado y acceso directo a los expertos en IA de NVIDIA.

La enorme supercomputadora del Proyecto Ceiba potenciará el desarrollo de la IA de NVIDIA

La supercomputadora del Proyecto Ceiba en la que AWS y NVIDIA están colaborando se integrará con los servicios de AWS, como la red cifrada de Amazon Virtual Private Cloud (VPC) y el almacenamiento en bloque de alto rendimiento de Amazon Elastic Block Store, brindando Acceso de NVIDIA a un conjunto completo de capacidades de AWS.

NVIDIA utilizará la supercomputadora para investigación y desarrollo para avanzar en la IA para LLM, gráficos y simulación, biología digital, robótica, automóviles autónomos, predicción climática de Tierra-2 y más.

NVIDIA y AWS potencian la IA generativa, HPC, diseño y simulación

Para impulsar el desarrollo, la capacitación y la inferencia de los LLM más grandes, las instancias AWS P5e contarán con las últimas GPU H200 de NVIDIA que ofrecen 141 GB de memoria de GPU HBM3e, que es 1,8 veces más grande y 1,4 x más rápido que las GPU H100. Este aumento en la memoria de GPU, junto con hasta 3200 Gbps de red EFA habilitada por AWS Nitro System, permitirá a los clientes continuar construyendo, entrenando e implementando sus modelos de vanguardia en AWS.

Para ofrecer soluciones rentables y energéticamente eficientes para cargas de trabajo de video, inteligencia artificial y gráficos, AWS anunció nuevas instancias Amazon EC2 G6e con GPU NVIDIA L40S e instancias G6 con tecnología de GPU L4. Las nuevas ofertas pueden ayudar a las nuevas empresas, las empresas y los investigadores a satisfacer sus necesidades de gráficos de alta fidelidad y de IA.

Las instancias G6e están diseñadas para manejar cargas de trabajo complejas, como IA generativa y aplicaciones de gemelos digitales. Con NVIDIA Omniverse, se pueden desarrollar, contextualizar y mejorar simulaciones 3D fotorrealistas utilizando datos en tiempo real de servicios como AWS IoT TwinMaker, chatbots inteligentes, asistentes, búsqueda y resumen. Amazon Robotics y Amazon Logistic Centers podrán integrar gemelos digitales creados con NVIDIA Omniverse y AWS IoT TwinMaker para optimizar el diseño y el flujo del almacén, capacitar a asistentes robóticos más inteligentes y mejorar las entregas a los clientes.

Las GPU L40S ofrecen hasta 1,45 petaflops de rendimiento FP8 y cuentan con núcleos Ray Tracing que ofrecen hasta 209 teraflops de rendimiento de trazado de rayos. Las GPU L4 incluidas en las instancias G6 ofrecerán una solución de menor costo y eficiencia energética para implementar modelos de IA para el procesamiento del lenguaje natural, la traducción de idiomas, el análisis de imágenes y videos de IA, el reconocimiento de voz y la personalización. Las GPU L40S también aceleran las cargas de trabajo de gráficos, como la creación y renderización de gráficos en tiempo real con calidad cinematográfica y la transmisión de juegos. Las tres instancias estarán disponibles el próximo año.

El software de NVIDIA en AWS impulsa el desarrollo de la IA generativa

Además, NVIDIA anunció software en AWS para impulsar el desarrollo de la IA generativa. El microservicio NVIDIA NeMo™ Retriever ofrece nuevas herramientas para crear chatbots y herramientas de resumen de alta precisión mediante la recuperación semántica acelerada. NVIDIA BioNeMo™, disponible ahora en Amazon SageMaker y próximamente a AWS en NVIDIA DGX Cloud, permite a las empresas farmacéuticas acelerar el descubrimiento de fármacos simplificando y acelerando el entrenamiento de modelos utilizando sus propios datos.

El software NVIDIA en AWS está ayudando a Amazon a incorporar nuevas innovaciones a sus servicios y operaciones. Un WS está utilizando el marco NVIDIA NeMo para capacitar a LLM seleccionados de Amazon Titan de próxima generación. Amazon Robotics ha comenzado a aprovechar NVIDIA Omniverse Isaac para construir gemelos digitales que automaticen, optimicen y planifiquen sus almacenes autónomos en entornos virtuales antes de implementarlos en el mundo real.