Le Château de Castelo Branco, aussi appelé Château des Templiers, à été construit au Moyen-Age entre 1214 et 1230. Il était délimité par une ligne de murailles et de tours.

Dans l’enceinte de ce fort, se situaient l’église de Santa Maria do Castelo et le palais des Alcaides.

A travers les gravures du Livre des Fortifications, de Duarte d’Armas, nous découvrons Castelo Branco comme une ville forteresse dès le 16ème siècle. Une ville constituée de rues étroites, ainsi que de bâtiments et ornements d’architecture Manuéline.

Le Château faisait partie d’un système défensif plus important qui était érigé le long de la vallée du Tage.