Como fortificación sirvió principalmente como refugio en tiempos de ataque de los rebeldes taínos. La breve rebelión terminó pacíficamente después de que una comisión de caciques negoció la paz. La casa se construyó en madera pero un incendio la destruyó. Más tarde, se reconstruyó en piedra y mampostería. Cuenta con hermosos balcones y terrazas al estilo de las Islas Canarias.
Casa Blanca fue la primera residencia del gobernador en Puerto Rico cuando la capital se trasladó al Islote de San Juan en 1521. Tuvo este uso hasta mediados de 1700, cuando se modernizó el Castillo-Fortaleza de Santa Catalina. Se convirtió en un verdadero palacio de residencia y luego se rebautizó como Sitio Real del Palacio de Santa Catalina de Siena.
Después de que el gobernador se mudó al final de la calle, a la Fortaleza, Casa Blanca dio cabida a la Real Cofradía de Artillería. Se convirtió también en la sede oficial de la Guardia de Cuerpo para las Órdenes de Caballería españolas: Santiago, Calatrava, Montesa y Alcántara; y también para los caballeros militares. Por ejemplo, San Hermenegildo, la Soberana Orden de San Juan de Malta y la Orden Ecuestre Pontificia del Santo Sepulcro de Jerusalén.
Casa Blanca en la era moderna
El edificio quedó en desuso hasta después de la Segunda Guerra Mundial. El Instituto Puertorriqueño de Cultura lo rescató de la ruina. Los jardines circundantes se reconstruyeron gracias a Gen Brooks, el primer gobernador militar estadounidense de la isla en el siglo XX.
En 1967, el complejo se transfirió al gobierno de Puerto Rico y se declaró monumento histórico. En 1981, se registró en la Lista Histórica de Edificios Americanos. Hoy, la casa es un museo de artefactos de los siglos XVI y XVII administrado por el Instituto de Cultura Puertorriqueña.
Abre sus puertas de martes a domingo, entre las 8:30 y las 4 de la tarde. Entre las 12 del mediodía y la una de la tarde permanece cerrado. Los lunes también permanece cerrado. La entrada es gratuita.