Nejstarší část zámku ("starý zámek") je podélné patrové stavení s novodobou omítkou, z níž vystupují jen sluneční hodiny s datovacím nápisem. Tzv. nový zámek má čtvercový půdorys kolem centrální dvorany, v nárožích stojí válcové věže s cibulovými báněmi. Je rovněž jednopatrový, stojí ale na zvýšené terase, přístupné po hlavním schodišti od jihozápadu.
Nejstarší částí zámku je podélné křídlo u kostela sv. Floriána. Jako náhradu původního sídla panství (hradu Blansko) vzniklo na přelomu 16. a 17. století. V 18. století vznikla novější část. Okolní park, vybavený řadou zahradních stavbiček (mj. vyhlídková věž), byl významně zasažen stavbou nové komunikace do Neštěmic za II. světové války. V současné době v majetku Národního památkového ústavu, který sem po dokončené rekonstrukci přestěhoval na podzim roku 2011 své pracoviště pro Ústecký kraj.