Ves byla příslušenstvím těšínských knížat. Poprvé se zmiňuje roku 1496. V 16. století zde některý z těšínských knížat nechal postavit renesanční zámek sloužící k letním pobytům knížat. Právě zde, na Brandýse, zemřel kníže Václav Adam roku 1617. Po vymření těšínských Piastovců kněžnou Alžbětou Lukrécií , připadlo knížectví jako odúmrť českému králi a císaři Ferdinandovi III. Jeho potomci byli kromě titulu českého krále i těšínskými knížaty. O panství však neměli zájem a na Těšíně, natož Brandýse nikdy nepobývali. Až Karel VI. v roce 1722 postoupil knížectví vévodovi Leopoldovi Lotrinskému. Tehdy byla zřízena samostatná těšínská komora a jejím sídlem se stal brandýský zámek. Po jeho smrti v roce 1731 se majetku ujal František Štěpán, římský císař a manžel císařovny Marie Terezie. Poté se majitelem stal císař Josef II, který tento majetek prodal své matce císařovně. Žádný z příslušníku rodu však v Těšíně nepobýval.

Marie Terezie postoupila knížectví své dceři Marii Kristině, provdané za saského krále Albrechta III. Po její smrti se majitelem stal její manžel, který tak přijal titul sasko těšínský. Albrecht byl prvním vládcem Těšína od dob vymření Piastovců, který občas na Těšíně pobýval. O zámek v Brandýse však příliš zájem neměl. Pouze bylo okolí zámku označeno Sachsenberg (Saský vrch). Panství poté připadlo Karlu, synovi Leopolda II. , následně jeho synovci Fridrichovi (bezručův markýz Gero). Zámek v Brandýse tehdy sloužil jako kanceláře správy panství.
Po roce 1918 přešel zámek do státních rukou a později do majetku nového města Český Těšín. Nakonec se dostal do soukromých rukou a jeho stav se začal radikálně horšit. V roce 1935 byla zbořena jeho jižní část a v roce 1953 zbytek i přesto, že se jednalo o nejstarší stavební památku Českého Těšína.

Text: historie
7.3. 2005 - jps7, Zaniklé hrady, zámky a tvrze na Moravě a ve Slezsku (F. Musil, M. Plaček)