El diagnóstico precoz de las masas mamarias benignas y malignas es esencial para la detección precoz del cáncer de mama. Las redes neuronales convolucionales (CNN) pueden utilizarse para ayudar en la clasificación de masas mamarias benignas y malignas. Un problema persistente en la clasificación actual de masas mamográficas mediante CNN es la falta de características locales invariantes, que no pueden responder eficazmente a las transformaciones geométricas de la imagen o a los cambios causados por los ángulos de las imágenes. En este estudio, se propone un nuevo modelo que entrena tanto la representación texton como la representación CNN profunda para tareas de clasificación de masas. Las características invariantes de la rotación proporcionadas por el banco de filtros de respuesta máxima se incorporan a la clasificación basada en CNN. La fusión después de implementar el enfoque de reducción se utiliza para abordar las deficiencias de la CNN en la extracción de características de masa. Este modelo se prueba en conjuntos de datos públicos, CBIS-DDSM y un conjunto de datos combinados, a saber, mini-MIAS e INbreast. La fusión tras aplicar el enfoque de reducción en el conjunto de datos CBIS-DDSM supera a la de los otros modelos en términos de área bajo la curva operativa del receptor (0,97), precisión (94,30%) y especificidad (97,19%). Por lo tanto, nuestro método propuesto puede integrarse con los sistemas de diagnóstico asistido por ordenador para lograr un cribado preciso de las masas mamarias.