Z původních pěti středověkých bran zůstala Brána Matky Boží jedinou dochovanou středověkou branou ve městě. Brány vznikly v době výstavby města a ochranného hradebního systému na počátku druhé poloviny 13. století. V letech 1508-1509 byla původní věž zbourána a znovu postavena jako pozdně gotická stavba s typickými hrotitými portály. V roce 1551 ji zachvátil požár a následná renesanční nástavba z roku 1564 ji navýšila o dvě patra do dnešní podoby a výšky 24 metrů. Specifický vzhled díky výrazné atice doznala rovněž koruna věže a přibylo složité předbraní s barbakánem, padacím mostem a několika baštami. V roce 1853 byly namontovány věžní hodiny a posléze bylo zbouráno předbraní. V lednu 1995 následkem nevhodného hydrologického zásahu brána poklesla a musela být staticky zajištěna. Kvůli značnému porušení došlo v následujícím roce k rozebrání celé koruny brány a následnému znovupostavení.
Kruhový výhled z otevřené koruny věže, která je v rozích opatřena ještě malými věžičkami s cimbuřím (celé krajské město s dominantami dvouvěžního kostela Sv. Ignáce z Loyoly a dvouvěžního kostela Sv. Jakuba Většího, kde jedna z věží slouží zároveň jako rozhledna, nedaleký klášter Minoritů, severnímu obzoru dominuje vrch Rudný s televizním vysílačem a na všechny strany okolo města je možné spatřit typicky kopcovitou krajinou Vysočiny).
Věž se nachází jen 250 metrů západně od hlavního Masarykova náměstí na rozhraní ulic Matky Boží a Věžní. Pouze 170 metrů severně je ve stejné ulici na okraji parku Gustava Mahlera do hradební zdi vkusně zasazena malá ocelová rozhledna.
Suvenýry v IC, které je umístěno v přízemí sousedního domu.
