Věž je ve svém základu pravděpodobně jednou z nejstarších staveb ve městě. Byla postavena v roce 1591 jako strážní věž městského opevnění v objektu jezuitského chudobince pro nemajetné studenty. V roce 1598 byl krov budovy i věže po požáru zničen. Poté byla budova přistavena o jedno poschodí. V roce 1846 byla věž navýšena a opatřena vyhlídkovým ochozem. Plochá terasa pak byla využívána pro hvězdářská pozorování. V roce 2001 byla po úpravě celá Hvězdářská věž zpřístupněna jako vyhlídková věž.
Kruhový výhled z otevřené plošiny opatřené masivním kamenným zábradlím z výšky 29 metrů (Chomutov s městskou věží, komplex tří výškových panelových experimentálních domů z osmdesátých let, rychlostní silnice R7 do Saska, Krušné hory s vysílačem na Jedlové, elektrárny Tušimice, Prunéřov a Počerady, České středohoří).
Hvězdářská věž se nachází v centru města, necelých sto metrů jižně od náměstí 1. máje na nábřeží říčky Chomutovky. Na druhém břehu říčky vede napříč celým městem hlavní Palackého ulice ve směru na Louny. Z ní pak odbočuje přes parkoviště most pro pěší a pro cyklisty přímo k budově Oblastního muzea, na jehož jihovýchodní straně se nachází věž.
Suvenýry v pokladně muzea na opačném konci budovy.
