Votice jsou poprvé připomínány v roce 1318 jako majetek Diviše, považovaného za zakladatele rodu Votických z Votic. Nejstarší votické panské sídlo stávalo pravděpodobně v místě zvaném „Na Hradčanech“, nedaleko kostela. Toto sídlo zaniklo nejpozději v 16. století a beze stop zmizelo. Další panské sídlo – tvrz, dnes zvaná „starý zámek“ – vzniklo jihozápadně od kostela v 15. století a poprvé bylo uváděno roku 1542. Byla to původně dvojkřídlá budova, opevněna valy a příkopem. Na zámek byla tvrz přestavěna za hraběte Ferdinanda Františka z Vrtby v roce 1653. Prameny uvádějí, že zámek tvořilo 25 pokojů, 13 komor, palác, 2 sklepy, 2 špižírny, "marštale" na 30 koní, kašna a pivovar. V roce 1746 zámek vyhořel a nikdy nebyl zcela obnoven. Panstvo se přestěhovalo do nového zámku a starý zámek sloužil k ubytování úředníků a jako pivovar, který před požárem stával ve dvoře. V části budovy byla až do 18. století… číst dále