Le premier château d'Alençon, construit par Yves de Bellême et Guillaume Ier, les deux premiers seigneurs de la ville, a totalement disparu. C'est le troisième fils de Guillaume le Conquérant, Henri Ier Beauclerc, roi d'Angleterre et duc de Normandie, qui prend Alençon en 1113 et fait construire un donjon qui sera intégré au second château. La construction de ce dernier est effectuée par Pierre II, comte d'Alençon de 1361 à 1404. Mais afin de refaire l'unité de la France déchirée par les guerres de religion, Henri IV décida de détruire toutes les forteresses qui étaient le symbole du pouvoir individuel des seigneurs. Ce faisant, il voulait les obliger à prêter une allégeance totale au pouvoir royal. C'est ainsi que le château d'Alençon fut démoli en 1592 à l'exception du donjon, détruit en 1782, et du pavillon d'entrée où est installée la prison. Il ne reste donc que très peu d'éléments de ce château qui comportait de nombreuses parties importantes et impressionnantes pour l'époque comme la tour Giroye, les fossés formés par la Briante et un immense parc qui s'étendait jusqu'à la forêt d'Ecouves. Notons que les derniers canons furent retirés au début du règne de Louis XIV et qu'avant d'être une prison, le château servit de dépôt de mendicité qui accueillait vagabonds et mendiants
.« C'est dommage que le château ait été détruit au cours des siècles, dit Laurent. Quand on sait que ce qui reste n'est que le pavillon d'entrée, et que c'est déjà impressionnant, on peut imaginer à quoi cela ressemblait. Cela devait être aussi immense que le château de Caen. Si je me rappelle bien, il y a un plan ou une gravure ancienne au laboratoire d'analyses où l'ancien château est montré ».