El aprendizaje multimodal es un área de investigación en expansión y tiene como objetivo buscar una mejor comprensión de los datos dados al considerar diferentes modalidades. Los enfoques multimodales para datos cualitativos se utilizan para la verificación cuantitativa de conjuntos de datos de verdad terreno y descubrir fenómenos inesperados. En este documento, investigamos el efecto de los esquemas de aprendizaje multimodal de datos cuantitativos para evaluar su estado cualitativo. Intentamos interpretar los niveles de fatiga humana mediante el análisis de video, imagen térmica y datos de voz juntos. El experimento mostró que el enfoque multimodal utilizando tres tipos de datos fue más efectivo que el método de usar cada conjunto de datos individualmente. Como resultado, identificamos la posibilidad de predecir estados de fatiga humana.