Gestión semafórica basada en aprendizaje por refuerzo: Q-Learning y SARSA
DOI:
https://doi.org/10.15665/q4jsbg56Palabras clave:
Control de tráfico vehicular, SUMO, TraCI, Q-learning, SARSA, SUMO-RLResumen
El crecimiento acelerado del tráfico urbano ha puesto de manifiesto las limitaciones de los semáforos tradicionales con temporización fija, que no se adaptan a la variabilidad de los patrones de tráfico. En respuesta a ello, este trabajo propone el uso de algoritmos de aprendizaje por refuerzo, concretamente Q-Learning y SARSA, para implementar sistemas de control de semáforos más eficientes y dinámicos. Se desarrollaron simulaciones en el entorno SUMO (Simulación de Movilidad Urbana) para comparar el rendimiento de estos modelos con los semáforos tradicionales, tomando como principal métrica el tiempo medio de espera por vehículo. Los resultados permiten evaluar la adaptabilidad y superioridad de los modelos inteligentes en la mayoría de los escenarios de tráfico, demostrando su potencial como solución eficaz para gestionar el flujo de vehículos en entornos urbanos.
Referencias
Ghanadbashi, S., y Golpayegani, F. (2021). "An Ontology-Based Intelligent Traffic Signal Control Model". IEEE, 2554-2561. https://doi.org/10.1109/itsc48978.2021.9564962
Jayanto, N. D., Satwika, I. P., Bayuwindra, A., Cahyono, R. T., y Husni, E. M. (2023). "Traffic Light Optimization using SUMO at the Samsat Intersection". IEEE, 1095-1100. https://doi.org/10.1109/smarttechcon57526.2023.10391623
Kekuda, A., Anirudh, R., y Krishnan, M. (2021). "Reinforcement Learning based Intelligent Traffic Signal Control using n-step SARSA". IEEE, 379-384. https://doi.org/10.1109/icais50930.2021.9395942
William, I., Kozhevnikov, S., Sontheimer, M., y Chou, S. (2024). “Enhancing Urban Traffic Management in Taipei: A Reinforcement Learning Approach”. IEEE, 1-6. https://doi.org/10.1109/scsp61506.2024.10549687
R. Zhang, A. Ishikawa, W. Wang, B. Striner y O. K. Tonguz, “Using Reinforcement Learning With Partial Vehicle Detection for Intelligent Traffic Signal Control”, IEEE Transactions on Intelligent Transportation Systems, vol. 22, núm. 1, pp. 404–415, enero de 2021. https://doi.org/10.1109/TITS.2019.2958859
Deepika, M. S., Mahajan, D., Vibhashree, S. H., Kiran, K., Shenoy, P. D., y Venugopal, K. R. (2024). "Analysing Mobility Patterns: A Comparative Study of SUMO RandomTrips and Duarouter". IEEE, 1-6. https://doi.org/10.1109/indiscon62179.2024.10744313
M. Noaeen, A. Naik, L. Goodman, J. Crebo, T. Abrar, Z. Shakeri Hossein Abad, A. L. C. Bazzan y B. Far, “Reinforcement learning in urban network traffic signal control: A systematic literature review”, Expert Systems with Applications, vol. 199, art. 116830, 2022. https://doi.org/10.1016/j.eswa.2022.116830
M. Miletić, E. Ivanjko, M. Gregurić y K. Kušić, “A review of reinforcement learning applications in adaptive traffic signal control”, IET Intelligent Transport Systems, vol. 16, págs. 1269–1285, 2022. https://doi.org/10.1049/itr2.12208
S. Park, E. Han, S. Park, H. Jeong y I. Yun, “Deep Q-network-based traffic signal control models”, PLOS ONE, vol. 16, núm. 9, art. e0256405, sep. 2021. https://doi.org/10.1371/journal.pone.0256405
H. Wei, G. Zheng, V. Gayah y Z. Li, “Recent advances in reinforcement learning for traffic signal control: A survey of models and evaluation”, ACM SIGKDD Explorations Newsletter, vol. 22, núm. 2, págs. 12–18, diciembre de 2020. https://doi.org/10.1145/3447556.3447565
A. R. M. Jamil, K. K. Ganguly y N. Nower, “Adaptive traffic signal control system using composite reward architecture based deep reinforcement learning”, IET Intelligent Transport Systems, vol. 14, págs. 2030–2041, 2020. https://doi.org/10.1049/iet-its.2020.0443
O. Mejia, R. Ceballos, R. Torres and J. Hoyos, "Adaptive Navigation System for an Autonomous Vehicle in a Goal-Oriented Environment," IEEE Latin America Transactions, vol. 23, no. 10, pp. 848-855, Oct. 2025, https://doi.org/10.1109/TLA.2025.11150628
A. Haydari and Y. Yılmaz, “Deep Reinforcement Learning for Intelligent Transportation Systems: A Survey”, IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 1, pp. 11–32, Jan. 2022. https://doi.org/10.1109/TITS.2020.3008612
J. Clifton and E. Laber, “Q-Learning: Theory and Applications,” Annual Review of Statistics and Its Application, vol. 7, pp. 279–301, 2020. https://doi.org/10.1146/annurev-statistics-031219-041220
M. Corazza and A. Sangalli, "Q-Learning and SARSA: A Comparison between Two Intelligent Stochastic Control Approaches for Financial Trading," SSRN Electronic Journal, 2015. https://dx.doi.org/10.2139/ssrn.2617630
H. van Seijen, A. R. Mahmood, P. M. Pilarski, M. C. Machado, and R. S. Sutton, “True Online Temporal-Difference Learning,” *J. Mach. Learn. Res.*, vol. 17, no. 145, pp. 1–40, 2016. https://www.jmlr.org/papers/v17/15-599.html
Lucas N. Alegre, “SUMO-RL,” GitHub repository, 2019. [Online]. Available: https://github.com/LucasAlegre/sumo-rl
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2026 Juan Pablo Hoyos, Jose Joaquin Vergara Cartagena, Leober Arturo Duran Raudales
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-SinDerivadas 4.0.
Los autores/as que publiquen en esta revista aceptan las siguientes condiciones:
- Los autores/as ceden los derechos de autor y dan a la revista el derecho de la primera publicación, con el trabajo registrado con la licencia de atribución de Creative Commons, que permite a terceros utilizar lo publicado siempre que mencionen la autoría del trabajo y a la primera publicación en esta revista.
- Los autores/as pueden realizar otros acuerdos contractuales independientes y adicionales para la distribución no exclusiva de la versión del artículo publicado en esta revista (p. ej., incluirlo en un repositorio institucional o publicarlo en un libro) siempre que indiquen claramente que el trabajo se publicó por primera vez en esta revista.
- Se permite y recomienda a los autores/as a publicar su trabajo en Internet (por ejemplo en páginas institucionales o personales) antes y durante el proceso de revisión y publicación, ya que puede conducir a intercambios productivos y a una mayor y más rápida difusión del trabajo publicado (vea The Effect of Open Access).
Instrucciones para el llenado de la Certificación de Originalidad y la Cesión de Derechos de Autor.
- Haga click aquí y baje el formulario de Certificación de Originalidad y la Cesión de Derechos de Autor.
- En cada uno de los campos para rellenar haga click y complete lo correspondiente.
- Una vez llenos los campos, copie al final su firma escaneada o firma digital. Favor ajustar el tamaño de la firma en el formulario.
- Finalmente, lo puede guardar como pdf y enviarlo a través de la palataforma OJS, como archivo complementario.
Si tiene dudas contáctenos, por favor.
