logo móvil

Lester: animación de rotoscopia a través de segmentación y seguimiento de objetos en video

Autores: Tous, Ruben

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico


Categoría

Ingeniería y Tecnología

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 13

Citaciones: Sin citaciones


Descripción
Este artículo presenta a Lester, un nuevo método para sintetizar automáticamente animaciones retro en 2D a partir de videos. El método aborda el desafío principalmente como un problema de segmentación y seguimiento de objetos. Los fotogramas de video se procesan con el Modelo de Segmentación de Cualquier Cosa (SAM) y las máscaras resultantes se rastrean a través de fotogramas subsecuentes con DeAOT, un método de propagación jerárquica para la segmentación de objetos de video semisupervisada. La geometría de los contornos de las máscaras se simplifica con el algoritmo de Douglas-Peucker. Finalmente, se pueden añadir opcionalmente rasgos faciales, pixelación y un efecto básico de luz de borde. Los resultados muestran que el método exhibe una excelente consistencia temporal y puede procesar correctamente videos con diferentes poses y apariencias, tomas dinámicas, tomas parciales y diversos fondos. El método propuesto proporciona un enfoque más simple y determinista que los modelos de difusión basados en canalizaciones de traducción de video a video, que sufren de problemas de consistencia temporal y no manejan bien salidas pixeladas y esquemáticas. El método también es más factible que las técnicas basadas en la estimación de la pose humana en 3D, que requieren modelos 3D hechos a medida y son muy limitadas con respecto al tipo de escenas que pueden procesar.

Documentos Relacionados

Temas Virtualpro