Partes del sitio contenía una fortificación española, el Bastión de San Justo del Muelle. La parte sur del sitio contenía un edificio que probablemente fue una casa española. Desde allí se da inicio al Paseo de la Princesa.
El Edificio Federal Jose V. Toledo se compone de dos edificios distintos pero conectados. El primer edificio se diseñó entre 1906 y 1908 por la Oficina del Arquitecto Supervisor del Departamento del Tesoro. Se construyó entre 1911 y 1914 y fue el primer edificio federal significativo de la isla. En 1936 el Congreso autorizó la expansión del sitio. La construcción de la adición se completó en 1940. Es un edificio sustancial que se diseñó independientemente del edificio anterior, aunque los dos están físicamente conectados en la fachada sur del edificio de 1914.
En 1999 el edificio pasó a llamarse José Victor Toledo. Este personaje se desempeñó como juez de justicia y jefe en el Tribunal de Distrito de los Estados Unidos.
Arquitectura del Edificio Federal Jose V. Toledo
La estructura es una mezcla sofisticada y armoniosa del estilo del renacimiento colonial español con formas y detalles de inspiración clásica. Consta de un sótano parcialmente excavado, dos pisos con logias y un tercer piso retrocedido con un techo de tejas españolas. El sótano elevado está acabado con granito rústico; mientras que los pisos superiores están construidos de ladrillo y hormigón y terminados en estuco.
El edificio de 1940 se conecta con el edificio anterior en la elevación sur. Cubre la entrada lateral del puerto de la gran terraza original del edificio y la mayor parte de su fachada principal. De planta rectangular y seis pisos de altura, el edificio de 1940 está construido de hormigón armado colado en el lugar. La adición de 1940 incluye una sala ceremonial del quinto piso con revestimiento de azulejos decorativos; y también una cornisa con diseño de diamantes.