Zámek je obdélná budova s patrovou valbovou střechou a rizalitem s pěti okenními osami v severním průčelí. Stavební průzkum zámku nebyl dosud proveden a tak není možné sdělit o stavbě podrobnější údaje. Pravdou zůstává, že v průběhu posledních desetiletí nebyl řádně udržován. A tak je v současnosti v katastrofálním stavu. Střešní krytin je v desolátním stavu a po dní se pomalu rozpadá krov. Omítky již z velké části opadaly. Voda zatékající do budovy způsobuje statické poruchy obvodového zdiva. Pokud oprava budovy nezačne v brzké době, během několika let se dočkáme další zříceniny zámku.
Obec Žáky byla založena okolo roku 1142. Tehdy kníže Vladislav II. založil klášter v Sedlci a klášter byl nadán mimo jiné i dvorem Žáky. Nejmladším panským sídlem v areálu, kde se nacházejí i dvě tvrze, je zámecká budova. Údajně byla postavena roku 1803. Tehdejší majitel statku Adolf z Pöttingu ji nechal postavit při jihozápadním okraji poplužního dvora jako letní sídlo, obklopené parkem. Od roku 1815 se majitelé střídali. V roce 1830 statek Žáky koupila Gabriela Auersperková a připojila ho k panství Žleby. Zámek od té doby sloužil jen jako obydlí panských úředníků a již tehdy začal chátrat. Roku 1948 se majitelem zámku stala Střední zemědělská technická škola v Čáslavi a nadále sloužil jako byty a kanceláře. V současnosti je zámek v majetku obce Žáky, je opuštěný, chátrá a nezadržitelně spěje k zániku.