Artículos recientes indican que las redes neuronales profundas son modelos eficientes para diversos problemas de aprendizaje. Sin embargo, a menudo son altamente sensibles a varios cambios que no pueden ser detectados por un observador independiente. Dado que nuestra comprensión de las redes neuronales profundas con límites de generalización tradicionales aún sigue siendo incompleta, existen varias medidas que capturan el comportamiento del modelo en caso de pequeños cambios en un estado específico. En este documento consideramos perturbaciones gaussianas en el espacio tangente y sugerimos la sensibilidad tangente para caracterizar la estabilidad de las actualizaciones de gradiente. Nos enfocamos en un tipo particular de estabilidad con respecto a cambios en parámetros que son inducidos por ejemplos individuales sin etiquetas conocidas. Derivamos varios límites fácilmente computables y medidas empíricas para redes feed-forward completamente conectadas con ReLU (Unidad Lineal Rectificada) y conectamos la sensibilidad tangente con la distribución de las regiones de activación en el espacio de entrada realizadas por la red.