Robustness learning a través de la entropía cruzada de softmax de inferencia en distribución desalineada de imagen
Autores: Song, Bingbing; Wang, Ruxin; He, Wei; Zhou, Wei
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Ejemplos adversarios
Redes neuronales profundas
Entropía cruzada suave
Robustez
Ataques adversarios
Región de inferencia
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 18
Citaciones: Sin citaciones
Los ejemplos adversarios fácilmente confunden a los sistemas de visión basados en redes neuronales profundas (DNN) entrenadas con la pérdida de entropía cruzada suave (SCE) softmax. La vulnerabilidad de las DNN proviene del hecho de que SCE lleva a las DNN a ajustarse a los ejemplos de entrenamiento, mientras que las distribuciones de características resultantes entre los ejemplos de entrenamiento y los adversarios están desalineadas desafortunadamente. Varios métodos de vanguardia comienzan mejorando la separabilidad entre clases de ejemplos de entrenamiento mediante la modificación de funciones de pérdida, donde argumentamos que se ignoran los ejemplos adversarios, lo que resulta en una limitada robustez a los ataques adversarios. En este documento, explotamos la región de inferencia, lo que nos inspiró a aplicar información de inferencia tipo margen a SCE, resultando en una pérdida de entropía cruzada de inferencia-softmax (I-SCE), que es intuitivamente atractiva e interpretable. La información de inferencia garantiza que sea difícil para las redes neuronales cruzar el límite de decisión bajo un ataque adversario, y garantiza tanto la separabilidad entre clases como la mejora de la generalización a ejemplos adversarios, lo que se demostró y probó aún más bajo el marco min-max. Experimentos extensos muestran que los modelos de DNN entrenados con la pérdida I-SCE propuesta logran un rendimiento y robustez superiores sobre los métodos de vanguardia bajo diferentes ataques adversarios prevalentes; por ejemplo, la precisión de I-SCE es mayor que la de SCE bajo el ataque en el conjunto de datos MNIST. Estos experimentos también muestran que la región de inferencia puede resolver efectivamente la distribución desalineada.
Descripción
Los ejemplos adversarios fácilmente confunden a los sistemas de visión basados en redes neuronales profundas (DNN) entrenadas con la pérdida de entropía cruzada suave (SCE) softmax. La vulnerabilidad de las DNN proviene del hecho de que SCE lleva a las DNN a ajustarse a los ejemplos de entrenamiento, mientras que las distribuciones de características resultantes entre los ejemplos de entrenamiento y los adversarios están desalineadas desafortunadamente. Varios métodos de vanguardia comienzan mejorando la separabilidad entre clases de ejemplos de entrenamiento mediante la modificación de funciones de pérdida, donde argumentamos que se ignoran los ejemplos adversarios, lo que resulta en una limitada robustez a los ataques adversarios. En este documento, explotamos la región de inferencia, lo que nos inspiró a aplicar información de inferencia tipo margen a SCE, resultando en una pérdida de entropía cruzada de inferencia-softmax (I-SCE), que es intuitivamente atractiva e interpretable. La información de inferencia garantiza que sea difícil para las redes neuronales cruzar el límite de decisión bajo un ataque adversario, y garantiza tanto la separabilidad entre clases como la mejora de la generalización a ejemplos adversarios, lo que se demostró y probó aún más bajo el marco min-max. Experimentos extensos muestran que los modelos de DNN entrenados con la pérdida I-SCE propuesta logran un rendimiento y robustez superiores sobre los métodos de vanguardia bajo diferentes ataques adversarios prevalentes; por ejemplo, la precisión de I-SCE es mayor que la de SCE bajo el ataque en el conjunto de datos MNIST. Estos experimentos también muestran que la región de inferencia puede resolver efectivamente la distribución desalineada.