Intel afirma que el Habana Gaudi2 de segunda generación supera a Nvidia A100

Intel anunció hoy que sus procesadores de aprendizaje profundo Habana® Gaudi®2 de segunda generación han superado el rendimiento de la presentación A100 de Nvidia para el tiempo de capacitación de IA en el  punto de referencia de la industria MLPerf . Los resultados destacan los tiempos de capacitación líderes en modelos de visión (ResNet-50) y lenguaje (BERT) con el procesador Gaudi2, que se presentó en mayo en el evento Intel Vision.

“Estoy entusiasmado con la entrega de los resultados sobresalientes de MLPerf con Gaudi 2 y orgulloso del logro de nuestro equipo de hacerlo tan solo un mes después del lanzamiento. Ofrecer el mejor rendimiento de su clase tanto en modelos de visión como de lenguaje aportará valor a los clientes y ayudará a acelerar sus soluciones de aprendizaje profundo de IA”.–Sandra Rivera, vicepresidenta ejecutiva de Intel y gerente general del Datacenter and AI Group

Por qué es importante: Con la plataforma Gaudi de Habana Labs, el equipo del centro de datos de Intel se centró en tecnologías de procesadores de aprendizaje profundo, permite a los científicos de datos y a los ingenieros de aprendizaje automático acelerar la capacitación y crear modelos nuevos o migrar modelos existentes con solo unas pocas líneas de código para disfrutar de una mayor productividad, así como menores costos operativos.

Lo que muestra:  Gaudi2 ofrece avances dramáticos en el tiempo de entrenamiento (TTT) con respecto a la primera generación de Gaudi y permitió que la presentación de MLPerf de Habana de mayo de 2022 superara al A100-80G de Nvidia para ocho aceleradores en modelos de visión y lenguaje. Para ResNet-50, Gaudi2 ofrece una reducción del 36 % en el tiempo de capacitación en comparación con el TTT de Nvidia para A100-80 GB y una reducción del 45 % en comparación con una presentación de servidor de 8 aceleradores A100-40 GB de Dell para ResNet-50 y BERT.

_{Métricas publicadas por MLCommons, junio de 2022,  https://mlcommons.org/en/training-normal-20/}

En comparación con Gaudi de primera generación, Gaudi2 logra un aumento de velocidad de 3x en el rendimiento de entrenamiento para ResNet-50 y 4.7x para BERT. Estos avances se pueden atribuir a la transición al proceso de 7 nanómetros desde 16 nm, triplicando la cantidad de núcleos de procesador Tensor, aumentando la capacidad de cómputo del motor GEMM, triplicando la capacidad de memoria de alto ancho de banda en el paquete, aumentando el ancho de banda y duplicando el tamaño de SRAM. Para los modelos de visión, Gaudi2 tiene una nueva característica en forma de un motor de medios integrado, que funciona de forma independiente y puede manejar todo el canal de preprocesamiento para imágenes comprimidas, incluido el aumento de datos requerido para el entrenamiento de IA.

Acerca del rendimiento del cliente listo para usar:  el rendimiento de ambas generaciones de procesadores Gaudi se logra sin manipulaciones de software especiales que difieren de la pila de software comercial lista para usar disponible para los clientes de Habana.

Comparando el rendimiento listo para usar obtenido con el software disponible comercialmente, Habana produjo las siguientes mediciones en un servidor común de 8 GPU versus el servidor de referencia HLS-Gaudi2. El rendimiento de la capacitación se derivó con los acopladores TensorFlow de NGC y de los repositorios públicos de Habana, empleando los mejores parámetros de rendimiento según lo recomendado por los proveedores (precisión mixta utilizada en ambos). El rendimiento del tiempo de entrenamiento es un factor clave que afecta la convergencia del tiempo de entrenamiento resultante:

_{Configuraciones de prueba para el gráfico proporcionado en la sección «La letra pequeña».}

_{Configuraciones de prueba para el gráfico proporcionado en la sección «La letra pequeña».}

Además de los logros de Gaudi2 señalados en MLPerf, la primera generación de Gaudi entregó un rendimiento sólido y una escala casi lineal impresionante en ResNet para las presentaciones de Gaudi con 128 aceleradores y 256 aceleradores que respaldan el escalado de sistemas de alta eficiencia para los clientes.

“Gaudi2 ofrece un claro desempeño en capacitación de liderazgo como lo demuestran nuestros últimos resultados de MLPerf”, dijo Eitan Medina, director de operaciones de Habana Labs. “Y continuamos innovando en nuestra arquitectura y software de capacitación de aprendizaje profundo para ofrecer las soluciones de capacitación de IA más rentables”. 

Acerca de los puntos de referencia de MLPerf:  la comunidad de MLPerf tiene como objetivo diseñar puntos de referencia justos y útiles que proporcionen «medidas consistentes de precisión, velocidad y eficiencia» para las soluciones de aprendizaje automático. Fueron creados por líderes de IA de la academia, los laboratorios de investigación y la industria que decidieron los puntos de referencia y definieron un conjunto de reglas estrictas que garantizan una comparación justa entre todos los proveedores. El punto de referencia MLPerf es el único punto de referencia confiable para la industria de la IA debido a su conjunto explícito de reglas, que permiten una comparación justa de las tareas de un extremo a otro. Además, las presentaciones de MLPerf pasan por un proceso de revisión por pares de un mes, que valida aún más los resultados informados.