Hrad stával na levém břehu Labe, na pozdější zahradě domu č.p. 87, tzv. Skleněné vily (1873). Protože hrad nestál na žádném návrší, jeho hlavní obrannou složkou byla pravděpodobně voda ve formě širšího příkopu, napojeného na řeku Labe. Jak vyplývá z provedeného archeologického výzkumu místa, hrad prošel nejméně dvěma stavebními fázemi – ze starší fáze (zástavba před r. 1300) pochází fragment zdiva a cisterna na vodu. K mladší stavební fázi náleží základové zdivo vnitřních staveb a zděná obvodová hradba nepravidelného, pravděpodobně kruhového tvaru. V jádru (cca 30 m) stály stavby neznámé podoby včetně cisterny na vodu.
První písemná zmínka o Toušeni pochází z roku 1293, kdy byla uváděna jako součást majetku královny Guty (Jitky) Habsburské, první manželky Václava II. Dle archeologického výzkumu byl zdejší hrádek (tvrz) založen v průběhu 2. poloviny 13. století. R. 1338 zde strávil noc i Karel IV., tehdy ještě jako mladý kralevic. Je možné, že na hrádku pobýval častěji, neboť měl zálibu v lovu ve zdejších lesích. Jako zástavní zboží byla později Toušeň v držení pánů z Michalovic, a poté pražských měšťanů. Roku 1370 je hrádek poprvé přímo zmiňován, když jej koupil od Mikuláše Jenteše moravský markrabě Jan Jindřich. Roku 1415 byl opět v držení pánů z Michalovic, v době husitských válek byl r. 1421 dobyt Pražany. Po husitských válkách držel Toušeň do r. 1468 Jindřich Kruhlata, poslední Michalovec po meči. Po jeho smrti připadl hrádek králi Jiřímu z Poděbrad, který jej dal synům a těmi byl prodán Oldřichu Bradáčovi, majiteli Chvatěrub. R.… číst dále