Red de neuronas con una capa oculta constructiva basada en correntropía
Autores: Nayyeri, Mojtaba; Rouhani, Modjtaba; Yazdi, Hadi Sadoghi; Mäkelä, Marko M.; Maskooki, Alaleh; Nikulin, Yury
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
Categoría
Ingeniería y Tecnología
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 15
Citaciones: Sin citaciones
Una de las principales desventajas de las redes constructivas basadas en el error cuadrático medio (MSE) tradicional es su bajo rendimiento en presencia de ruidos no gaussianos. En este artículo, proponemos una nueva red constructiva incremental basada en la función objetivo de correntropía (red neuronal constructiva basada en correntropía (C2N2)), que es robusta ante ruidos no gaussianos. En el método de aprendizaje propuesto, se separan las optimizaciones del lado de entrada y de salida. Se demuestra teóricamente que el nuevo nodo oculto, obtenido del problema de optimización del lado de entrada, no es ortogonal a la función de error residual. En base a este hecho, se demuestra que la correntropía del error residual converge a su valor óptimo. Durante el proceso de entrenamiento, se aplica de forma iterativa el problema de mínimos cuadrados lineales ponderados para actualizar los parámetros del nodo recién agregado. Experimentos en conjuntos de datos sintéticos y de referencia demuestran la robustez del método propuesto en comparación con la red constructiva basada en MSE, la red de función de base radial (RBF). Además, el método propuesto supera a otros métodos de aprendizaje robustos, incluyendo la red de correntropía en cascada (CCOEN), Perceptrón Multicapa basado en la función objetivo de Entropía de Error Mínimo (MLPMEE), Perceptrón Multicapa basado en la función objetivo de correntropía (MLPMCC) y la Máquina de Soporte Vectorial de Mínimos Cuadrados Robusta (RLS-SVM).
Descripción
Una de las principales desventajas de las redes constructivas basadas en el error cuadrático medio (MSE) tradicional es su bajo rendimiento en presencia de ruidos no gaussianos. En este artículo, proponemos una nueva red constructiva incremental basada en la función objetivo de correntropía (red neuronal constructiva basada en correntropía (C2N2)), que es robusta ante ruidos no gaussianos. En el método de aprendizaje propuesto, se separan las optimizaciones del lado de entrada y de salida. Se demuestra teóricamente que el nuevo nodo oculto, obtenido del problema de optimización del lado de entrada, no es ortogonal a la función de error residual. En base a este hecho, se demuestra que la correntropía del error residual converge a su valor óptimo. Durante el proceso de entrenamiento, se aplica de forma iterativa el problema de mínimos cuadrados lineales ponderados para actualizar los parámetros del nodo recién agregado. Experimentos en conjuntos de datos sintéticos y de referencia demuestran la robustez del método propuesto en comparación con la red constructiva basada en MSE, la red de función de base radial (RBF). Además, el método propuesto supera a otros métodos de aprendizaje robustos, incluyendo la red de correntropía en cascada (CCOEN), Perceptrón Multicapa basado en la función objetivo de Entropía de Error Mínimo (MLPMEE), Perceptrón Multicapa basado en la función objetivo de correntropía (MLPMCC) y la Máquina de Soporte Vectorial de Mínimos Cuadrados Robusta (RLS-SVM).