Aunque no lo parezca por el penoso estado en que se encuentra, el castillo de San Francisco es Monumento Histórico Nacional desde 1949. El edificio sufre un profundo deterioro, desde que lo abandonaron los militares a finales del siglo pasado y hace años fue tomado por okupas. El Ayuntamiento optó por tapiarlo para evitar que siguiera siendo desvalijado por los gamberros, pero éstos han improvisado una especie de puente elevado, con unas viejas maderas, para acceder al interior. Varias partes del edificio han sido destruidas en sucesivos incendios y puertas y ventanas arrancadas a lo largo de años y años de abandono. En las paredes de la que fuera prisión militar durante muchos años se pueden contemplar aún los graffitis que dibujaban los presos.

El Ayuntamiento compró el edificio al Ministerio de Defensa hace más de cinco años, para rehabilitarlo y convertirlo en un museo que formara parte de la red de castillos de la capital, conectado con el de Mata.

El anterior alcalde, Jerónimo Saavedra, encargó un estudio para rehabilitar el espacio, pero la crisis económica ha impedido seguir adelante con el proyecto. El Ayuntamiento no tiene ningún plan definido para esta edificación, que se encuentra en el más absoluto de los abandonos. El castillo de San Francisco forma parte de la fortaleza que se levantó en la meseta del risco del mismo nombre, sobre una superficie de 222.910 metros cuadrados. La fortaleza en sí ocupa 5.750 metros cuadrados y su construcción se inició a principios del siglo XVII. Durante el siglo pasado se añadieron a la vieja fortificación una serie de construcciones, para sus funciones de prisión militar y otros usos militares.

Según el arqueólogo Julio Cuenca, la construcción de este castillo fue consecuencia directa del ataque del almirante Van Der Does en 1599 a la ciudad.

A causa del ataque del holandés, explica, "quedó muy dañada la fortaleza de Las Isletas, que fue quemada por los holandeses", el torreón de Santa Ana, ya desaparecido, "quedó casi destruido por los impactos de la artillería y en parte volado con un barril de pólvora. Iguales daños sufriría el cubelo situado al pie de la montaña de San Francisco", en Mata, y la vieja muralla quedó casi en estado de ruina.