Análisis de Calidad de Video: Pasos hacia la Unificación de Casos de Referencia Completa y Sin Referencia
Autores: Topiwala, Pankaj; Dai, Wei; Pian, Jiangfeng; Biondi, Katalina; Krovvidi, Arvind
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
Categoría
Procesos industriales
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 11
Citaciones: Sin citaciones
La evaluación de la calidad de video (VQA) es ahora un campo de rápido crecimiento, madurando en el caso de referencia completa (FR), pero desafiando en el caso de sin referencia (NR) en explosión. En este documento, investigamos algunas variantes del popular algoritmo de evaluación de calidad de video VMAF de referencia completa, utilizando tanto regresión de vectores de soporte como redes neuronales feedforward. También lo extendemos al caso NR, utilizando diferentes características pero un aprendizaje similar, para desarrollar un marco parcialmente unificado para VQA. Cuando están completamente entrenados, los algoritmos FR como VMAF funcionan muy bien en conjuntos de datos de prueba, alcanzando más del 90% de coincidencia en los populares coeficientes de correlación PCC y SRCC. Sin embargo, para predecir el rendimiento en el mundo real, los entrenamos/probamos individualmente para cada conjunto de datos. Con una división de entrenamiento/prueba del 80/20, aún logramos alrededor del 90% de rendimiento en promedio tanto en PCC como en SRCC, con ganancias de hasta el 7-9% sobre VMAF, utilizando una característica de movimiento mejorada y una mejor regresión. Además, incluso obtenemos un buen rendimiento (alrededor del 75%) si ignoramos la referencia, tratando FR como NR, justificando en parte nuestros intentos de unificación. En el verdadero caso NR, típicamente con datos generados por usuarios amateurs, disponemos de muchas más características, pero aún así reducimos la complejidad en comparación con los algoritmos recientes VIDEVAL y RAPIQUE, mientras logramos un rendimiento dentro del 3-5% de ellos. Además, desarrollamos un método para analizar la saliencia de las características y concluimos que para VIDEVAL y RAPIQUE, un pequeño subconjunto de sus características proporciona la mayor parte del rendimiento. También tocamos los mejores métodos NR actuales: MDT-VSFA y PVQ, que alcanzan más del 80% de rendimiento. En resumen, identificamos mejoras alentadoras en la capacidad de entrenamiento en FR, mientras limitamos la complejidad del entrenamiento en comparación con los métodos líderes en NR, elucidando la saliencia de las características para la selección de características.
Descripción
La evaluación de la calidad de video (VQA) es ahora un campo de rápido crecimiento, madurando en el caso de referencia completa (FR), pero desafiando en el caso de sin referencia (NR) en explosión. En este documento, investigamos algunas variantes del popular algoritmo de evaluación de calidad de video VMAF de referencia completa, utilizando tanto regresión de vectores de soporte como redes neuronales feedforward. También lo extendemos al caso NR, utilizando diferentes características pero un aprendizaje similar, para desarrollar un marco parcialmente unificado para VQA. Cuando están completamente entrenados, los algoritmos FR como VMAF funcionan muy bien en conjuntos de datos de prueba, alcanzando más del 90% de coincidencia en los populares coeficientes de correlación PCC y SRCC. Sin embargo, para predecir el rendimiento en el mundo real, los entrenamos/probamos individualmente para cada conjunto de datos. Con una división de entrenamiento/prueba del 80/20, aún logramos alrededor del 90% de rendimiento en promedio tanto en PCC como en SRCC, con ganancias de hasta el 7-9% sobre VMAF, utilizando una característica de movimiento mejorada y una mejor regresión. Además, incluso obtenemos un buen rendimiento (alrededor del 75%) si ignoramos la referencia, tratando FR como NR, justificando en parte nuestros intentos de unificación. En el verdadero caso NR, típicamente con datos generados por usuarios amateurs, disponemos de muchas más características, pero aún así reducimos la complejidad en comparación con los algoritmos recientes VIDEVAL y RAPIQUE, mientras logramos un rendimiento dentro del 3-5% de ellos. Además, desarrollamos un método para analizar la saliencia de las características y concluimos que para VIDEVAL y RAPIQUE, un pequeño subconjunto de sus características proporciona la mayor parte del rendimiento. También tocamos los mejores métodos NR actuales: MDT-VSFA y PVQ, que alcanzan más del 80% de rendimiento. En resumen, identificamos mejoras alentadoras en la capacidad de entrenamiento en FR, mientras limitamos la complejidad del entrenamiento en comparación con los métodos líderes en NR, elucidando la saliencia de las características para la selección de características.