La primera demostración en dispositivo Android de Stable Diffusion

Por: Qualcomm – 2023

Los modelos básicos están conquistando la industria de la inteligencia artificial (IA). Un modelo base es una gran red neuronal entrenada en una gran cantidad de datos a escala, lo que da como resultado un modelo que se puede adaptar a una amplia gama de tareas posteriores con alto rendimiento. Stable Diffusion, un modelo básico muy popular, es un modelo de IA generativo de texto a imagen capaz de crear imágenes fotorrealistas con cualquier entrada de texto en decenas de segundos, bastante increíble. Con más de mil millones de parámetros, Stable Diffusion se había limitado principalmente a ejecutarse en la nube, hasta ahora. Continúe leyendo para saber cómo Qualcomm AI Research realizó optimizaciones de IA de pila completa utilizando Qualcomm AI Stack para implementar Stable Diffusion en un teléfono inteligente Android por primera vez. 

¿Qué sigue en la tecnología informática móvil?

La investigación detrás del futuro de la IA impulsa experiencias de usuario avanzadas en teléfonos inteligentes, PC móviles, XR, automotriz e IoT.

Regístrese para recibir actualizaciones mensuales

Optimización de IA de pila completa para ejecutar de manera eficiente Stable Diffusion completamente en el dispositivo.

Haga clic en una imagen más grande

 

Optimización de IA de pila completa con Qualcomm AI Stack

En mi publicación de blog «AI firsts» , describí cómo Qualcomm AI Research asumió la tarea no solo de generar investigaciones novedosas de IA, sino también de ser el primero en demostrar pruebas de concepto en dispositivos comerciales, allanando el camino para que la tecnología escale. en el mundo real. Nuestra investigación de IA de pila completa significa optimizar la aplicación, el modelo de red neuronal, los algoritmos, el software y el hardware, así como trabajar en todas las disciplinas dentro de la empresa. Para Stable Diffusion, comenzamos con el modelo de código abierto FP32 versión 1-5 de Hugging Face e hicimos optimizaciones a través de la cuantificación, compilación y aceleración de hardware para ejecutarlo en un teléfono con tecnología Snapdragon 8 Gen 2 Mobile Platform .

Para reducir el modelo de FP32 a INT8, utilizamos la  cuantificación  posterior al entrenamiento  de AI Model Efficiency Toolkit (AIMET) , una herramienta desarrollada a partir de técnicas creadas por Qualcomm AI Research y ahora incorporada al recién anunciado  Qualcomm AI Studio . La cuantificación no solo aumenta el rendimiento, sino que también ahorra energía al permitir que el modelo se ejecute de manera eficiente en nuestro hardware de IA dedicado y consuma menos ancho de banda de memoria. Nuestras técnicas de cuantificación AIMET de última generación, como  el redondeo adaptativo (AdaRound), pudieron mantener la precisión del modelo con esta precisión más baja sin necesidad de volver a entrenar. Las técnicas se aplicaron en todos los modelos de componentes en Stable Diffusion, a saber, el codificador de texto basado en transformador, el decodificador VAE y UNet. Esto era fundamental para que el modelo encajara en el dispositivo.                                                                         

Pila de IA de Qualcomm

Qualcomm AI Stack unifica nuestras mejores ofertas de software de IA en su clase en un solo paquete para ayudar a los OEM y desarrolladores a crear, optimizar e implementar sus aplicaciones de IA en nuestros productos y aprovechar al máximo el rendimiento del motor de IA de Qualcomm.

Haga clic en una imagen más grande

Para la compilación, usamos el marco directo de Qualcomm AI Engine para mapear la red neuronal en un programa que se ejecuta de manera eficiente en nuestro hardware de destino. El marco directo de Qualcomm AI Engine secuencia las operaciones para mejorar el rendimiento y minimizar el despilfarro de memoria en función de la arquitectura de hardware y la jerarquía de memoria del procesador Qualcomm Hexagon. Algunas de estas mejoras fueron el resultado del trabajo conjunto de investigadores de optimización de IA con equipos de ingeniería de compiladores para mejorar la gestión de la memoria en la inferencia de IA. Las optimizaciones generales realizadas en Qualcomm AI Engine han reducido significativamente la latencia del tiempo de ejecución y el consumo de energía, y esta tendencia tan necesaria continúa dentro de Stable Diffusion. 

Nuestro rendimiento de inteligencia artificial líder en la industria en el motor de inteligencia artificial de Qualcomm con el procesador Hexagon se desata a través del diseño conjunto de hardware y software. El último Snapdragon 8 Gen 2 con inferencia de micro mosaicos ayuda a que los modelos grandes como Stable Diffusion funcionen de manera eficiente; espere más mejoras con el Snapdragon de próxima generación. Además, las mejoras realizadas para los modelos de transformadores , como MobileBERT, para acelerar drásticamente la inferencia, juegan un papel clave aquí, ya que la atención de múltiples cabezas se utiliza en todos los modelos de componentes en Stable Diffusion. 

El resultado de esta optimización completa es ejecutar Stable Diffusion en un teléfono inteligente en menos de 15 segundos durante 20 pasos de inferencia para generar una imagen de 512 x 512 píxeles: esta es la inferencia más rápida en un teléfono inteligente y comparable a la latencia de la nube. La entrada de texto del usuario es completamente ilimitada. 

Estudio de IA de Qualcomm

Qualcomm AI Studio reúne todas las herramientas que ofrecemos hoy en una GUI completamente nueva junto con herramientas de visualización para simplificar la experiencia del desarrollador.

Haga clic en una imagen más grande

Imágenes de difusión estable generadas con el aviso: «Jardín japonés en el río de la vida silvestre y la cordillera, muy detallado, ilustración digital, estación de arte, arte conceptual, mate, enfoque nítido, ilustración, dramático, puesta de sol, piedra de hogar, arte de Artgerm y Greg Rutkowski y Alphonse Mucha».

https://youtube.com/watch?v=B-uojHRr7HE%3Fenablejsapi%3D1

La era de Edge AI está aquí

Nuestra visión del borde inteligente conectado está sucediendo ante nuestros ojos a medida que los grandes modelos de nube de IA comienzan a gravitar hacia la ejecución en dispositivos de borde, cada vez más rápido. Lo que se consideraba imposible hace solo unos años ahora es posible. Esto es convincente porque el procesamiento en el dispositivo con IA perimetral brinda muchos beneficios, que incluyen confiabilidad, latencia, privacidad, uso eficiente del ancho de banda de la red y costo general.

Aunque el modelo Stable Diffusion parece bastante grande, codifica una gran cantidad de conocimiento sobre el habla y las imágenes para generar prácticamente cualquier imagen imaginable. Además, como modelo básico, Stable Diffusion puede hacer mucho más que generar imágenes con indicaciones de texto. Hay un número creciente de aplicaciones de difusión estable, como la edición de imágenes, la pintura interna, la transferencia de estilo, la superresolución y más, que ofrecerán un impacto real. Poder ejecutar el modelo completamente en el dispositivo sin necesidad de una conexión a Internet brindará infinitas posibilidades.

IA de borde de escala

Ejecutar Stable Diffusion en un teléfono inteligente es solo el comienzo. Toda la investigación y la optimización completas que se realizaron para hacer esto posible fluirán hacia Qualcomm AI Stack. Nuestra hoja de ruta de tecnología única nos permite escalar y utilizar una única pila de IA que funciona no solo en diferentes dispositivos finales sino también en diferentes modelos. 

Esto significa que las optimizaciones para que Stable Diffusion se ejecute de manera eficiente en los teléfonos también se pueden usar para otras plataformas, como computadoras portátiles, auriculares XR y prácticamente cualquier otro dispositivo con tecnología de Qualcomm Technologies. Ejecutar todo el procesamiento de IA en la nube será demasiado costoso, por lo que es tan importante el procesamiento eficiente de IA perimetral. El procesamiento Edge AI garantiza la privacidad del usuario mientras ejecuta Stable Diffusion (y otros modelos generativos de AI), ya que el texto de entrada y la imagen generada nunca necesitan salir del dispositivo; esto es un gran problema para la adopción de aplicaciones empresariales y de consumo. Las nuevas optimizaciones de la pila de IA también significan que el tiempo de comercialización para el próximo modelo básico que queremos ejecutar en el perímetro también disminuirá. Así es como escalamos a través de dispositivos y modelos básicos para hacer que la IA de borde sea verdaderamente omnipresente.