El acelerador Intel Gaudi AI obtiene el doble de rendimiento que GPT-3 con el software FP8

MLCommons  publicó  los resultados de la prueba comparativa de entrenamiento MLPerf v3.1 estándar de la industria para entrenar modelos de IA, e Intel presentó resultados para aceleradores Intel® Gaudi®2 y procesadores escalables Intel® Xeon™ de cuarta generación con Intel® Advanced Matrix Extensions ( Intel® AMX). Intel Gaudi2 demostró un importante salto de rendimiento de 2 veces, con la implementación del tipo de datos FP8 en el punto de referencia GPT-3 de entrenamiento v3.1. Las presentaciones de puntos de referencia reforzaron el compromiso de Intel de llevar la IA a todas partes con soluciones de IA competitivas.

“Seguimos innovando con nuestra cartera de IA y elevando el listón con nuestros resultados de rendimiento de MLPerf en evaluaciones comparativas de IA de MLCommons consecutivas. Los procesadores Intel Gaudi y Xeon de cuarta generación ofrecen un importante beneficio de precio-rendimiento para los clientes y están listos para implementarse hoy. Nuestra amplia configuración de hardware y software de IA ofrece a los clientes soluciones integrales y opciones adaptadas a sus cargas de trabajo de IA”.–Sandra Rivera, vicepresidenta ejecutiva de Intel y directora general del Grupo de Centro de Datos y IA

Por qué es importante:  Los resultados más recientes de MLCommons MLPerf se basan en el sólido rendimiento de la IA de Intel respecto a  los resultados de capacitación de MLPerf anteriores de junio . El procesador Intel Xeon sigue siendo la única CPU que informa resultados de MLPerf, e Intel Gaudi2 es una de las tres únicas soluciones de acelerador en las que se basan los resultados, de las cuales sólo dos están disponibles comercialmente.

Los procesadores Intel Gaudi2 y Xeon de cuarta generación demuestran un rendimiento convincente en el entrenamiento de IA en una variedad de configuraciones de hardware para abordar la gama cada vez más amplia de requisitos informáticos de IA de los clientes.

Acerca de los resultados de Intel Gaudi2:  Gaudi2 sigue siendo la única alternativa viable al H100 de NVIDIA para las necesidades de computación de IA, y ofrece una relación precio-rendimiento significativa. Los resultados de MLPerf para Gaudi2 mostraron el creciente rendimiento del entrenamiento del acelerador de IA:

• Gaudi2 demostró un salto de rendimiento 2 veces mayor con la implementación del tipo de datos FP8 en el punto de referencia de entrenamiento GPT-3 v3.1, reduciendo el tiempo de entrenamiento a más de la mitad en comparación con el punto de referencia MLPerf de junio, completando el entrenamiento en 153,58 minutos en 384 Aceleradores Intel Gaudi2. El acelerador Gaudi2 admite FP8 en formatos E5M2 y E4M3, con la opción de escalado retrasado cuando sea necesario.
• Intel Gaudi2 demostró el entrenamiento en el modelo multimodal Stable Diffusion con 64 aceleradores en 20,2 minutos, utilizando BF16.
• Si bien FP8 se usó solo en GPT-3 en esta presentación de capacitación de MLPerf y GPT-J en la presentación de inferencia anterior, Intel está ampliando el soporte de FP8 en el software y las herramientas Gaudi2 a modelos adicionales tanto para capacitación como para inferencia.
• En ocho aceleradores Intel Gaudi2, los resultados de las pruebas comparativas fueron 13,27 y 15,92 minutos para BERT y ResNet-50, respectivamente, utilizando BF16.

Acerca de los resultados de Xeon de cuarta generación:  Intel sigue siendo el único proveedor de CPU que envía resultados de MLPerf. Los resultados de MLPerf para 4th Gen Xeon resaltaron su sólido desempeño:

• Intel presentó resultados para RESNet50, RetinaNet, BERT y DLRM dcnv2. Los resultados de los procesadores escalables Intel Xeon de cuarta generación para ResNet50, RetinaNet y BERT fueron similares a los sólidos resultados de rendimiento listos para usar presentados para la prueba comparativa MLPerf de junio de 2023.
• DLRM dcnv2 es un nuevo modelo presentado en junio, en el que la CPU demuestra un tiempo de entrenamiento de 227 minutos utilizando solo cuatro nodos.

El rendimiento del procesador Xeon de cuarta generación demuestra que muchas organizaciones empresariales pueden entrenar de manera económica y sostenible modelos de aprendizaje profundo pequeños y medianos en su infraestructura de TI empresarial existente con CPU de uso general, especialmente para casos de uso en los que la capacitación es una carga de trabajo intermitente.

 Qué sigue:  con actualizaciones y optimizaciones de software, Intel anticipa más avances en los resultados de rendimiento de la IA en los próximos puntos de referencia de MLPerf. Los productos de IA de Intel brindan a los clientes más opciones de soluciones de IA para cumplir con los requisitos dinámicos que requieren rendimiento, eficiencia y usabilidad.