Los avances recientes en aprendizaje profundo han dado lugar a varios desafíos, uno de los cuales es el problema de la privacidad de los datos en los datos de entrenamiento. Para abordar este problema, el aprendizaje federado, una técnica que fusiona modelos entrenados por clientes en servidores, ha surgido como una solución atractiva. Sin embargo, el aprendizaje federado enfrenta desafíos relacionados con la heterogeneidad de datos y la heterogeneidad del sistema. Observaciones recientes sugieren que la incorporación de modelos pre-entrenados en el aprendizaje federado puede mitigar algunos de estos desafíos. No obstante, la principal desventaja de los modelos pre-entrenados radica en su tamaño de modelo típicamente grande, lo que conduce a una transmisión excesiva de datos cuando los clientes envían estos modelos al servidor. Además, el aprendizaje federado implica múltiples pasos globales, lo que significa que transmitir un modelo de lenguaje grande a múltiples clientes resulta en un intercambio de datos demasiado grande. En este documento, proponemos un enfoque novedoso para abordar este desafío utilizando adaptadores. Los adaptadores demuestran eficiencia de entrenamiento al entrenar una capa de adaptador de capacidad pequeña junto con un modelo de lenguaje grande. Esta característica única reduce el volumen de transmisión de datos, ofreciendo una solución práctica al problema. Los resultados de la evaluación demuestran que el método propuesto logra una reducción en el tiempo de entrenamiento de aproximadamente 20-40% y una mejora en la velocidad de transmisión de más del 98% en comparación con enfoques anteriores.