Las nubes de puntos representan una forma importante para que los robots perciban su entorno y pueden ser adquiridas por robots móviles con sensores LiDAR o robots submarinos con sensores de sonar. Por lo tanto, la segmentación semántica en tiempo real de nubes de puntos con dispositivos de borde a bordo es esencial para que los robots comprendan su entorno. En este artículo, proponemos un sistema de segmentación semántica de nubes de puntos a bordo para plataformas robóticas que supera el conflicto entre alcanzar una alta precisión en los resultados de segmentación y los recursos computacionales limitados disponibles en los dispositivos a bordo. Nuestro sistema toma como entradas una secuencia de nubes de puntos en bruto y produce resultados de segmentación semántica para cada cuadro, así como un mapa semántico reconstruido del entorno. En el núcleo de nuestro sistema se encuentra el módulo de extracción de características jerárquicas basado en transformadores y el módulo de fusión. Los dos módulos se implementan con tecnologías de tensor disperso para acelerar la inferencia. Las predicciones se acumulan de acuerdo con las reglas de Bayes para generar un mapa semántico global. Los resultados experimentales en el conjunto de datos SemanticKITTI muestran que nuestro sistema logra un +2.2% de mIoU y mejoras de velocidad de 18 veces en comparación con los métodos SOTA. Nuestro sistema es capaz de procesar 2.2 millones de puntos por segundo en Jetson AGX Xavier (NVIDIA, Santa Clara, EE. UU.), demostrando su aplicabilidad a varias plataformas robóticas.