SSGD: un método seguro y eficiente de descenso gradiente
Autores: Duan, Jinhuan; Li, Xianxian; Gao, Shiqi; Zhong, Zili; Wang, Jinyan
Idioma: Inglés
Editor: Hindawi
Año: 2021
Acceso abierto
Artículo científico
Categoría
Ingeniería y Tecnología
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 21
Citaciones: Sin citaciones
Con el vigoroso desarrollo de la tecnología de inteligencia artificial, diversas aplicaciones de tecnología de ingeniería se han implementado una tras otra. El método de descenso de gradiente juega un papel importante en la resolución de diversos problemas de optimización, debido a su estructura simple, buena estabilidad y fácil implementación. Sin embargo, en un sistema de aprendizaje automático multinodo, los gradientes suelen necesitar ser compartidos, lo que causará una filtración de privacidad, ya que los atacantes pueden inferir los datos de entrenamiento con la información del gradiente. En este artículo, para prevenir la fuga de gradientes manteniendo la precisión del modelo, proponemos el enfoque de descenso de gradiente super estocástico para actualizar los parámetros ocultando la longitud del módulo de los vectores de gradiente y convirtiéndolos en un vector unitario. Además, analizamos la seguridad del enfoque de descenso de gradiente super estocástico y demostramos que nuestro algoritmo puede defenderse contra los ataques al gradiente. Los resultados experimentales muestran que nuestro
Descripción
Con el vigoroso desarrollo de la tecnología de inteligencia artificial, diversas aplicaciones de tecnología de ingeniería se han implementado una tras otra. El método de descenso de gradiente juega un papel importante en la resolución de diversos problemas de optimización, debido a su estructura simple, buena estabilidad y fácil implementación. Sin embargo, en un sistema de aprendizaje automático multinodo, los gradientes suelen necesitar ser compartidos, lo que causará una filtración de privacidad, ya que los atacantes pueden inferir los datos de entrenamiento con la información del gradiente. En este artículo, para prevenir la fuga de gradientes manteniendo la precisión del modelo, proponemos el enfoque de descenso de gradiente super estocástico para actualizar los parámetros ocultando la longitud del módulo de los vectores de gradiente y convirtiéndolos en un vector unitario. Además, analizamos la seguridad del enfoque de descenso de gradiente super estocástico y demostramos que nuestro algoritmo puede defenderse contra los ataques al gradiente. Los resultados experimentales muestran que nuestro