A partir de esa fecha, el área se consolidó dentro del quinto barrio intramuros de San Juan Bautista. Se empezó a denominar barrio de Ballajá. En 1853, en los terrenos que ocupa el actual patio frontal del antiguo cuartel se levantaban tres manzanas de estructura coloniales.
En ese año, los bloques de vivienda se expropiaron y demolieron. Comenzó así la construcción del cuartel de infantería de Ballajá. El área remanente entre el cuartel y la casa de beneficiencia, un espacio de forma triangular, se delimitó e incorporó al primero. Ese área se destinó para huertas, caballerizas y cocina del cuartel. El espacio continuó utilizándose como patio del cuartel tras la invasión norteamericana de la isla en 1898; y también tras la transformación del barrio de Ballajá en base militar norteamericana.
En 1966 se declaró inactivo el entonces llamado «Fort Brooke». En 1972, al abandonar el ejército norteamericano la base militar, el cuartel de Ballajá y facilidades aledañas se abandonaron. La recuperación del sector dio inicio en 1985 por la oficina estatal de preservación histórica. Esta oficina estaba adscrita a la oficina del gobernador bajo la administración gubernamental del honorable Rafael Hernández Colón.
Creación de la Plaza del Cuartel
El diseño para la rehabilitación de la plaza del cuartel es obra del arquitecto José J. Cotarelo. Este proyecto comprendía la Calle de la Beneficiencia, Paseo del Campo del Morro y Bulevar del Valle. La intervención urbanística generó un sistema integrador entre los diferentes inmuebles históricos. Así mismo dotó al barrio de mobiliario, elementos paisajísticos y esculturas. Se inauguró el 2 de octubre de 1992.