Un novedoso enfoque de conjunto basado en procesos de puntos determinantes para el aprendizaje por transferencia
Autores: Lv, Ying; Zhang, Bofeng; Yue, Xiaodong; Xu, Zhikang
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Transfer learning
Modelo
Dominio
Datos
Estrategia de conjunto
Rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 18
Citaciones: Sin citaciones
El aprendizaje por transferencia (TL) tiene como objetivo entrenar un modelo para tareas en un dominio objetivo utilizando el conocimiento de dominios fuente diferentes pero relacionados. La mayoría de los métodos de TL se centran más en mejorar el rendimiento predictivo del modelo único en distintos dominios. Dado que las diferencias de dominio no pueden evitarse, el conocimiento del dominio fuente para obtener el dominio objetivo es limitado. Por lo tanto, el modelo de transferencia tiene que predecir datos fuera de distribución (OOD) en el dominio objetivo. Sin embargo, la predicción del modelo único es inestable al tratar con los datos OOD, lo que puede causar fácilmente una transferencia negativa. Para resolver este problema, proponemos una estrategia de conjunto paralelo basada en Procesos Puntuales Determinantes (DPP) para el aprendizaje por transferencia. En esta estrategia, primero propusimos un muestreo DPP mejorado para generar subconjuntos de entrenamiento con mayor transferibilidad y diversidad. En segundo lugar, utilizamos los subconjuntos para entrenar los modelos base. Finalmente, los modelos base se fusionan utilizando la adaptabilidad de los subconjuntos. Para validar la efectividad de la estrategia de conjunto, acoplamos la estrategia de conjunto en modelos de TL tradicionales y modelos de TL profundos y evaluamos los modelos de rendimiento de transferencia en conjuntos de datos de texto e imágenes. Los resultados experimentales muestran que nuestra estrategia de conjunto propuesta puede mejorar significativamente el rendimiento del modelo de transferencia.
Descripción
El aprendizaje por transferencia (TL) tiene como objetivo entrenar un modelo para tareas en un dominio objetivo utilizando el conocimiento de dominios fuente diferentes pero relacionados. La mayoría de los métodos de TL se centran más en mejorar el rendimiento predictivo del modelo único en distintos dominios. Dado que las diferencias de dominio no pueden evitarse, el conocimiento del dominio fuente para obtener el dominio objetivo es limitado. Por lo tanto, el modelo de transferencia tiene que predecir datos fuera de distribución (OOD) en el dominio objetivo. Sin embargo, la predicción del modelo único es inestable al tratar con los datos OOD, lo que puede causar fácilmente una transferencia negativa. Para resolver este problema, proponemos una estrategia de conjunto paralelo basada en Procesos Puntuales Determinantes (DPP) para el aprendizaje por transferencia. En esta estrategia, primero propusimos un muestreo DPP mejorado para generar subconjuntos de entrenamiento con mayor transferibilidad y diversidad. En segundo lugar, utilizamos los subconjuntos para entrenar los modelos base. Finalmente, los modelos base se fusionan utilizando la adaptabilidad de los subconjuntos. Para validar la efectividad de la estrategia de conjunto, acoplamos la estrategia de conjunto en modelos de TL tradicionales y modelos de TL profundos y evaluamos los modelos de rendimiento de transferencia en conjuntos de datos de texto e imágenes. Los resultados experimentales muestran que nuestra estrategia de conjunto propuesta puede mejorar significativamente el rendimiento del modelo de transferencia.