MLCommons publicó sus últimos benchmarks de MLPerf Inference v5.1, que muestran los resultados de seis benchmarks clave para los sistemas GPU de Intel con procesadores Intel® Xeon® con núcleos P y gráficos Intel® Arc™ Pro B60, estaciones de trabajo de inferencia con nombre en código Project Battlematrix. En Llama 8B, el rendimiento por dólar de Intel Arc Pro B60 se multiplica por 1,25 y hasta por 4 en comparación con NVIDIA RTX Pro 6000 y L40S, respectivamente.
Los resultados destacan el rendimiento y la accesibilidad de una plataforma 100% Intel que aborda las cargas de trabajo de inferencia de IA emergentes en estaciones de trabajo de alta gama y aplicaciones de borde.
Los resultados de MLPerf v5.1 son una sólida validación de la estrategia de GPU e IA de Intel. Nuestras GPU Arc Pro Serie B, con una nueva pila de software optimizada para inferencia, permiten a desarrolladores y empresas desarrollar e implementar aplicaciones basadas en IA con estaciones de trabajo de inferencia potentes, fáciles de configurar, con un precio accesible y escalables. Lisa Pearce, vicepresidenta corporativa de Intel y gerente general del grupo de propiedad intelectual de software, GPU y NPU
Por qué es importante
Hasta ahora, existían opciones limitadas para los profesionales que priorizaban plataformas capaces de ofrecer un alto rendimiento de inferencia sin comprometer la privacidad de los datos o incurrir en altos costos de suscripción vinculados a modelos de IA propietarios, pero que requerían capacidades para implementar modelos de lenguaje grandes (LLM).
Estos nuevos sistemas de GPU Intel, cuyo nombre en código es Proyecto Battlematrix, están diseñados para satisfacer las necesidades de inferencia de IA moderna y proporcionar una plataforma de inferencia todo en uno que combina hardware y software validados de pila completa.
Los sistemas GPU de Intel apuntan a simplificar la adopción y la facilidad de uso con una nueva solución en contenedores diseñada para entornos Linux, optimizada para brindar un increíble rendimiento de inferencia con escalamiento de múltiples GPU y transferencias de datos P2P PCIe, y diseñada para incluir funciones de confiabilidad y capacidad de administración de clase empresarial como ECC, SRIOV, telemetría y actualizaciones de firmware remotas.
Las CPU siguen desempeñando un papel vital en los sistemas de IA. Como núcleo de orquestación, la CPU gestiona el preprocesamiento, la transmisión y la coordinación general del sistema. Las mejoras sostenidas de Intel en el rendimiento de la IA basada en CPU durante los últimos cuatro años han consolidado a Intel Xeon como la CPU preferida para alojar y gestionar cargas de trabajo de IA en sistemas con GPU.
Intel sigue siendo el único proveedor que envía resultados de CPU de servidor a MLPerf, lo que demuestra liderazgo y un firme compromiso con la aceleración de las capacidades de inferencia de IA en arquitecturas de computación y aceleración. Cabe destacar que el Intel Xeon 6 con núcleos P logró una mejora del rendimiento de 1,9 veces entre generaciones en MLPerf Inference v5.1.