Kostel svatého Vavřince byl podle pověstí postaven na konci 13. století. První zmínka o kostele je doložena z roku 1349 při založení Litomyšlského biskupství. Roku 1461 kostel vyhořel a zbyla z něj jen jižní věž a část přilehlé lodi s portálem. Roku 1774 byl opět ve městě požár, který zasáhl i kostel. K jeho rekonstrukci došlo až v roce 1837.