About Me

header ads

Publicidad

header ads

AIMET Model Zoo: ahora están disponibles modelos de IA cuantificados de alta precisión

Imagen: Qualcomm – 2021

Reducir el tamaño de los modelos de redes neuronales es crucial para el despliegue generalizado de la IA. Qualcomm AI Research ha estado desarrollando técnicas de cuantificación de vanguardia que permiten la inferencia de punto fijo con eficiencia energética al tiempo que preservan la precisión del modelo, como Data Free Quantization (DFQ) y AdaRound , que son técnicas posteriores al entrenamiento que logran una precisión 8 -cuantización de bits sin datos.
 
Para hacer que esta investigación sea más accesible y contribuir a la comunidad de código abierto, Qualcomm Innovation Center (QuIC) lanzó el AI Model Efficiency Toolkit (AIMET) en  GitHub  en mayo de 2020. El objetivo de AIMET es permitir la inferencia de enteros energéticamente eficiente al proporcionar una biblioteca simple plugin para que los desarrolladores de IA lo utilicen para un rendimiento de eficiencia de modelo de última generación. El proyecto AIMET está prosperando con técnicas de cuantificación actualizadas periódicamente basadas en el trabajo de Qualcomm AI Research y el uso activo por parte de la comunidad de IA más amplia, incluidos varios OEM móviles, ISV e investigadores del mundo académico.
 
QuIC ahora va un paso más allá al contribuir con una colección de modelos populares previamente entrenados optimizados para la inferencia de 8 bits a GitHub en forma de "AIMET Model Zoo". Junto con los modelos, AIMET Model Zoo también proporciona la receta para cuantificar modelos populares de punto flotante de 32 bits (FP32) en modelos enteros de 8 bits (INT8) con poca pérdida de precisión . Las recetas probadas y verificadas incluyen un script que optimiza los modelos TensorFlow o PyTorch en una amplia gama de categorías, desde clasificación de imágenes, detección de objetos, segmentación semántica y estimación de pose hasta súper resolución y reconocimiento de voz.
 
Esto permitirá a los investigadores y desarrolladores el acceso directo a modelos cuantificados de alta precisión, ahorrándoles tiempo para lograr beneficios de rendimiento, como la reducción del consumo de energía, la latencia y los requisitos de memoria para la inferencia en el objetivo. Por ejemplo, imagine que es un desarrollador que desea realizar una segmentación semántica para el embellecimiento de imágenes o casos de uso de conducción autónoma mediante el uso del modelo DeepLabv3 +. AIMET Model Zoo proporciona un modelo DeepLabv3 + optimizado que utiliza las funciones DFQ y Quantization Aware Training (QAT) de AIMET. La receta correspondiente de AIMET Model Zoo apunta a este modelo optimizado y proporciona llamadas adecuadas a la biblioteca AIMET para ejecutar la simulación INT8 y evaluar el rendimiento. De hecho, la versión cuantificada de AIMET tiene una puntuación de intersección media sobre unión (mIoU) del 72,08%, que es prácticamente equivalente al 72. 32% proporcionado por el modelo FP32 original. La siguiente imagen muestra visualmente cómo el modelo cuantificado en AIMET Model Zoo da como resultado una segmentación semántica precisa. 
 
El AIMET Model Zoo tiene muchos modelos de redes neuronales cuantificados INT8 que proporcionan una inferencia precisa comparable a los modelos FP32. Con esta contribución inicial de 14 modelos INT8 a AIMET Model Zoo, estamos aliviando los obstáculos para el ecosistema en el uso de modelos cuantificados en sus cargas de trabajo de IA y, por lo tanto, avanzando hacia la omnipresencia de la inferencia de punto fijo de eficiencia energética. Puede obtener lo mejor de ambos mundos: la alta precisión de un modelo de punto flotante y la eficiencia del modelo de los modelos enteros de 8 bits.

Publicar un comentario

0 Comentarios