Incorporando la Cuantificación de la Incertidumbre para la Mejora del Rendimiento de los Recomendadores Académicos
Autores: Zhu, Jie; Novelo, Luis Leon; Yaseen, Ashraf
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
Categoría
Gestión y administración
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 6
Citaciones: Sin citaciones
El aprendizaje profundo se utiliza ampliamente en muchas aplicaciones de la vida real. A pesar de sus notables precisiones de rendimiento, las redes de aprendizaje profundo a menudo están mal calibradas, lo que podría ser perjudicial en escenarios sensibles al riesgo. La cuantificación de la incertidumbre ofrece una forma de evaluar la fiabilidad y la confianza de las predicciones de modelos basados en aprendizaje profundo. En este trabajo, introdujimos la cuantificación de la incertidumbre en nuestra plataforma de recomendación de asistentes de investigación virtual a través de técnicas de conjunto de abandono de Monte Carlo. También propusimos una nueva fórmula para incorporar las estimaciones de incertidumbre en nuestros modelos de recomendación. Los experimentos se llevaron a cabo en dos componentes diferentes de la plataforma de recomendación (es decir, un recomendador de subvenciones basado en BERT y un recomendador de colaboradores basado en una red de gráficos temporales (TGN)) utilizando conjuntos de datos de la vida real. Los resultados de la recomendación se compararon en términos de métricas de recomendación (AUC, AP, etc.) y la métrica de calibración/fiabilidad (ECE). Con la cuantificación de la incertidumbre, pudimos entender mejor el comportamiento de nuestras salidas regulares de recomendación; mientras que nuestro recomendador de subvenciones basado en BERT tiende a ser demasiado confiado con sus salidas, nuestro recomendador de colaboradores basado en TGN tiende a ser poco confiado al producir probabilidades de coincidencia. Los estudios de caso iniciales también mostraron que nuestro modelo propuesto con ajuste de cuantificación de incertidumbre a partir del conjunto dio los mejores resultados calibrados junto con el rendimiento deseable del recomendador.
Descripción
El aprendizaje profundo se utiliza ampliamente en muchas aplicaciones de la vida real. A pesar de sus notables precisiones de rendimiento, las redes de aprendizaje profundo a menudo están mal calibradas, lo que podría ser perjudicial en escenarios sensibles al riesgo. La cuantificación de la incertidumbre ofrece una forma de evaluar la fiabilidad y la confianza de las predicciones de modelos basados en aprendizaje profundo. En este trabajo, introdujimos la cuantificación de la incertidumbre en nuestra plataforma de recomendación de asistentes de investigación virtual a través de técnicas de conjunto de abandono de Monte Carlo. También propusimos una nueva fórmula para incorporar las estimaciones de incertidumbre en nuestros modelos de recomendación. Los experimentos se llevaron a cabo en dos componentes diferentes de la plataforma de recomendación (es decir, un recomendador de subvenciones basado en BERT y un recomendador de colaboradores basado en una red de gráficos temporales (TGN)) utilizando conjuntos de datos de la vida real. Los resultados de la recomendación se compararon en términos de métricas de recomendación (AUC, AP, etc.) y la métrica de calibración/fiabilidad (ECE). Con la cuantificación de la incertidumbre, pudimos entender mejor el comportamiento de nuestras salidas regulares de recomendación; mientras que nuestro recomendador de subvenciones basado en BERT tiende a ser demasiado confiado con sus salidas, nuestro recomendador de colaboradores basado en TGN tiende a ser poco confiado al producir probabilidades de coincidencia. Los estudios de caso iniciales también mostraron que nuestro modelo propuesto con ajuste de cuantificación de incertidumbre a partir del conjunto dio los mejores resultados calibrados junto con el rendimiento deseable del recomendador.