Původně pohraniční pevnost a později gotický hrad ze 13. století se dvěma věžemi v 16. století vyhořel. K přestavbě na renesanční sídlo došlo až v 17. století. Na konci 18. století zámek opět vyhořel a teprve začátkem 19. století získal zámek současnou klasicistní podobu. V sedmdesátých letech 19. století se zámek zdvojnásobil přístavbou hospodářského zázemí, tzv. Červeného zámku s impozantní vstupní branou. Stavba byla provedena z režného zdiva v novogotickém slohu po vzoru severoněmeckých gotických hradů. V roce 1939 chtěl tehdejší majitel pro nerentabilitu červené budovy zbourat. Proti tomu záměru se však postavil Památkový úřad a navíc vypukla II. světová válka, takže k demolici naštěstí nedošlo.
Masivní 44 metrová hranová Bílá věž z roku 1887 (343 m n.m.) byla poslední stavbou na zámku. Nachází se na nejjižnějším místě za hlavní budovou klasicistního Bílého zámku. Zůstala však pouhým nedokončeným torzem velkolepého projektu nového vstupu do Bílého zámku z jižní parkové strany a nebyla nikdy dokončena. Druhotně pak byla využita jako vodojem, když byla v roce 1901 ve čtvrtém nadzemním půdním podlaží snýtována pětadvaceti kubíková nádrž. Vodojem byl posléze napojen na vodovod, který rozváděl vodu nejen do Bílého zámku, ale i do kašny na náměstí a do rozlehlých koníren. V létě se jeho vody využívalo i k zalévání zámeckého parku.
Výhled ze dvou oken na severní straně a tří na jižní straně ve třetím nadzemním podlaží je možný pouze na vzdálený východní okraj Opavy a rozlehlé polské roviny, na opačnou stranu na zámecký park.
K zámku vede z Hradce jediná přístupová cesta. Ta odbočuje z hlavní průjezdní silnice městem – Opavské ulice hned za mostem přes Moravici do Podolské ulice. Po 170 metrech se zatočí doprava a Zámeckou ulicí se po modré turistické značce vyšplháme příkrým, za levotočivou zatáčkou dokonce strmým stoupáním po 600 metrech až na dlážděné náměstí před Červeným zámkem. Z hlavní silnice z Fulneku stoupá k hradu ještě úzká asfaltka. Ta odbočuje z Opavské ulice v obci Kajlovec těsně před rybníkem doleva. Zelená značka nás pak po 800 metrech i díky dvěma ostrým serpentinám dovede strmým stoupáním na náměstí před zámkem.
Po příchodu do zámku hradní branou se Hodinová věž nachází hned vpravo 50 metrů od vstupu. K Bílé věži je zapotřebí zleva obejít po parkové cestě Bílý zámek a věž se nám po 220 metrech objeví za jeho jižním křídlem.
Obě cesty jsou sjízdné na silničním kole.
Suvenýry v pokladně hlavní brány.
Občerstvení restauraci vedle hlavní brány.