Intel muestra un sólido rendimiento de inferencia de IA

​MLCommons publicó los resultados de su punto de referencia de rendimiento MLPerf Inference v3.1 para GPT-J, el modelo de lenguaje grande de 6 mil millones de parámetros, así como modelos de procesamiento de lenguaje natural y visión por computadora. Intel presentó resultados para los aceleradores Habana® Gaudi®2, los procesadores escalables Intel® Xeon® de cuarta generación y la serie Intel® Xeon® CPU Max. Los resultados muestran el desempeño competitivo de Intel en la inferencia de IA y refuerzan el compromiso de la compañía de hacer que la inteligencia artificial sea más accesible a escala en todo el espectro de cargas de trabajo de IA, desde el cliente y el borde hasta la red y la nube.

“Como lo demuestran los resultados recientes de MLCommons, tenemos una cartera de productos de IA sólida y competitiva, diseñada para satisfacer las necesidades de nuestros clientes de capacitación e inferencia de aprendizaje profundo de alto rendimiento y alta eficiencia, para todo el espectro de modelos de IA, desde el Desde el más pequeño hasta el más grande, con una relación precio/rendimiento líder”.–Sandra Rivera, vicepresidenta ejecutiva de Intel y directora general del Grupo de Centro de Datos y IA

Por qué es importante: basándose en la  actualización de capacitación de IA de MLCommons  de junio y los  puntos de referencia de rendimiento de Hugging Face  que validan que Gaudi2 puede superar al H100 de Nvidia en un modelo de lenguaje de visión de última generación, los resultados de hoy refuerzan aún más que Intel ofrece la única solución viable. alternativa a Nvidia H100 y A100 para necesidades informáticas de IA.

Cada cliente tiene consideraciones únicas e Intel está llevando la IA a todas partes con productos que pueden abordar la inferencia y la capacitación en todo el espectro de cargas de trabajo de IA. Los productos de IA de Intel brindan a los clientes flexibilidad y opciones a la hora de elegir una solución de IA óptima en función de sus respectivos objetivos de rendimiento, eficiencia y costos, al tiempo que los ayudan a salir de ecosistemas cerrados.

Acerca de los resultados de Habana Gaudi2:  Los resultados de rendimiento de inferencia de Habana Gaudi2 para GPT-J proporcionan una sólida validación de su rendimiento competitivo.
 

• El rendimiento de inferencia de Gaudi2 en GPT-J-99 y GPT-J-99.9 para consultas de servidor y muestras fuera de línea es de 78,58 por segundo y 84,08 por segundo, respectivamente.
• Gaudi2 ofrece un rendimiento convincente frente a la H100 de Nvidia, con H100 mostrando una ligera ventaja de 1,09x (servidor) y 1,28x (fuera de línea) en rendimiento en relación con Gaudi2.
• Gaudi2 supera a la Nvidia A100 en 2,4x (servidor) y 2x (sin conexión).
• La presentación de Gaudi2 empleó el FP8 y alcanzó una precisión del 99,9% en este nuevo tipo de datos.

Con las actualizaciones de software Gaudi2 lanzadas cada seis a ocho semanas, Intel espera continuar ofreciendo avances en el rendimiento y una mayor cobertura de modelos en los puntos de referencia MLPerf.

Acerca de los resultados de Intel Xeon:  Intel presentó los siete puntos de referencia de inferencia, incluido GPT-J, en procesadores escalables Intel Xeon de cuarta generación. Estos resultados muestran un excelente rendimiento para cargas de trabajo de IA de uso general, incluidos los modelos de visión, procesamiento del lenguaje, traducción de voz y audio, así como los modelos mucho más grandes de recomendación DLRM v2 y ChatGPT-J. Además, Intel sigue siendo el único proveedor que envía resultados públicos de CPU con software de ecosistema de aprendizaje profundo estándar de la industria.

• El procesador escalable Intel Xeon de cuarta generación es ideal para crear e implementar cargas de trabajo de IA de uso general con los marcos y bibliotecas de IA más populares. Para la tarea de resumen de 100 palabras GPT-J de un artículo de noticias de aproximadamente 1000 a 1500 palabras, los procesadores Intel Xeon de cuarta generación resumieron dos párrafos por segundo en modo fuera de línea y un párrafo por segundo en modo de servidor en tiempo real.  
• Por primera vez, Intel presentó resultados de MLPerf para la serie Intel Xeon CPU Max, que proporciona hasta 64 gigabytes (GB) de memoria de gran ancho de banda. Para GPT-J, fue la única CPU capaz de alcanzar una precisión del 99,9 %, lo cual es fundamental para aplicaciones en las que la mayor precisión es de suma importancia para el rendimiento.
• Intel colaboró ​​con sus clientes fabricantes de equipos originales (OEM) para entregar sus propios envíos, mostrando aún más la escalabilidad del rendimiento de la IA y la amplia disponibilidad de servidores de uso general con procesadores Intel Xeon que pueden cumplir con los acuerdos de nivel de servicio al cliente (SLA).

Qué sigue : MLPerf, generalmente considerado como el punto de referencia de mayor reputación para el rendimiento de la IA, permite comparaciones de rendimiento justas y repetibles. Intel anticipa presentar nuevos resultados de rendimiento del entrenamiento de IA para el próximo punto de referencia MLPerf. Las actualizaciones de rendimiento continuas muestran el compromiso de Intel de respaldar a los clientes y abordar cada nodo del continuo de la IA: desde procesadores de IA de bajo costo hasta los aceleradores de hardware de IA y GPU de mayor rendimiento para la red, la nube y los clientes empresariales.