Litomyšlská brána měla dvě věže, které však po nákladné rekonstrukci střechy bohužel opět vyhořely. 3. července roku 1829 bylo nařízeno zbourání toho, co z obou věží zbylo. Měšťané však naštěstí zjistili, že by to kvůli tvrdosti materiálu stálo příliš velké úsilí a bylo by to velice drahé. Možná i díky tomu se nám obě dvě věže zachovaly do současnosti.