Ad

header ads

Publicidad

header ads


Se presenta el primer decodificador de video neuronal basado en software del mundo que ejecuta formato HD en tiempo real en un smartphone

Imagen: Qualcomm – 2021

Solía ​​ser que la mayoría de la gente se preguntaba sobre el valor de la inteligencia artificial (IA) y lo que podía hacer. Avance rápido hasta el día de hoy, y la pregunta se ha convertido en ¿qué no puede hacer la IA? En Qualcomm, hemos imaginado durante mucho tiempo que la IA se volverá omnipresente , lo que permitirá que los dispositivos perciban, razonen y tomen acciones inteligentes en función de la conciencia de la situación. Mejorará casi cualquier experiencia, aumentará o reemplazará los algoritmos convencionales e incluso resolverá problemas considerados irresolubles. Me complace compartir que Qualcomm AI Research está mostrando nuestro último avance y lo que es posible con la tecnología de inteligencia artificial al demostrar el primer decodificador de video neuronal HD del mundo que se ejecuta en tiempo real en un teléfono inteligente comercial. Permítanme explicar el significado de este logro.
 
La escala de video que se crea y consume es enorme
 
La tecnología de video ha revolucionado la forma en que creamos y consumimos medios. Los avances en la compresión de video, que brindan una calidad de video mejorada con menos bits, han llevado a una amplia adopción de video en una amplia gama de dispositivos y servicios. De hecho, se espera que el 82% del tráfico de Internet sea de video para 2022 1 . Con este crecimiento explosivo del tráfico de video, las mejoras en la tecnología de codificación de video son cruciales para brindar entretenimiento, mejorar la colaboración y transformar las industrias en los próximos años.
 
La IA está permitiendo códecs de video de la generación futura
Para satisfacer la creciente demanda de consumo de video, prevemos que los futuros códecs de video tendrán las siguientes características:
 
Optimización directa de la tasa de bits y las métricas de calidad perceptiva
Desarrollo de códec simplificado
Paralelismo masivo intrínseco
Ejecución eficiente y capacidad de actualización en hardware implementado
Actualizaciones de códec descargables
Los códecs de video de redes neuronales tienen el potencial de proporcionar todas estas características deseadas. Específicamente, pueden ejecutarse en aceleradores de hardware de inteligencia artificial desarrollados para otras aplicaciones de inteligencia artificial y también pueden permitir una paralelización mucho más eficiente de la codificación de entropía. Impulsado por este potencial, ha habido una investigación activa sobre códecs de video neuronales en los últimos años, mostrando un rendimiento de compresión impresionante y cerrando la brecha con los códecs convencionales.
 
Haciendo posibles los códecs de video neuronales en dispositivos móviles
 
Llevar la investigación de IA del laboratorio a escenarios de la vida real a menudo no es fácil y, en este caso, la implementación práctica de códecs de video neuronales es un desafío. La mayoría de los estudios de investigación de inteligencia artificial existentes utilizan GPU de gama alta alimentadas por pared con cálculo de punto flotante, y los modelos de redes neuronales a menudo no están optimizados para inferencias rápidas. La ejecución de inferencias en tiempo real en estos tipos de modelos de decodificadores neuronales no es práctica ni factible en dispositivos móviles con limitaciones térmicas, de energía y de cómputo fijas.
 
Con nuestra experiencia en inteligencia artificial de bajo consumo, nuestro objetivo era lograr la codificación de video neuronal intracuadro en tiempo real en un teléfono inteligente comercial. Hicimos varias optimizaciones, como rediseñar la arquitectura de red para reducir la complejidad, cuantificar la red para un rendimiento óptimo en el procesador de aceleración de IA, explotar la codificación de entropía paralela y utilizar las innovaciones tecnológicas de Qualcomm. Para la cuantificación, utilizamos el kit de herramientas de eficiencia del modelo de inteligencia artificial (AIMET) de código abierto del Centro de innovación de Qualcomm . El resultado es la primera demostración del mundo que muestra la decodificación de video neuronal HD en tiempo real en un dispositivo móvil.
 
En nuestra demostración, un video de 1280 x 704, que está muy cerca de HD 720p, se decodifica a más de 30 cuadros por segundo en un teléfono inteligente comercial con el procesador Qualcomm Snapdragon 888. Específicamente, la entropía paralelo decodificación se ejecuta en la CPU y la red de decodificador se acelera en la 6 ª generación Qualcomm AI Engine. Observe de cerca el video incrustado para ver que las ricas estructuras visuales en las desafiantes escenas de la naturaleza son preservadas con precisión por el decodificador neuronal, lo que resulta en una excelente reproducción de escenas. Y si está en CVPR, pase por nuestro stand virtual para hablar con nuestros investigadores de IA para obtener más detalles.
 
En Qualcomm afirman estar muy entusiasmados con este logro de cambio de paradigma y cómo afectará a los futuros códecs de video. Esté atento al trabajo futuro que amplíe esto para incluir la decodificación entre cuadros que se ejecuta en tiempo real en un dispositivo móvil.

Publicar un comentario

0 Comentarios