W X-XI w. na miejscu obecnego Zamku w Toszku stał drewniany gród, należący w okresie rozbicia dzielnicowego do książąt śląskich, który zastąpiono na początku XVw. murowanym zamkiem. W XII wieku utworzono tu kasztelanię, co poświadczają wzmianki z 1222 roku i późniejsze wymieniające trzech kasztelanów: Jakuba, Jaksę i Zwigora. Od północy i zachodu biegły prostopadłe do siebie odcinki muru, a od południa i wschodu dziedziniec zamknięty był murem biegnącym po łuku. Wjazd prowadził od wschodu, gdzie przekopana była fosa a nad nią przerzucony był most. Brama umieszczona została w wysuniętym znacznie w stronę fosy przedbramiu. Pozostałe zabudowania były wtedy prawdopodobnie drewniane. W 1429 r. zamek został zniszczony przez husytów, a odbudował go książę Przemysław Toszecki.  Po jego śmierci w 1484 r. zamek był własnością książąt opolskich, a potem jako lenno królów czeskich przeszedł w ręce Habsburgów. Następnie zastawiony rodzinie Redernów w 1592 r. został przez nią wykupiony i odbudowany w stylu renesansowym. Redernowie nie tylko naprawili zniszczenia spowodowane pożarem z 1570, ale dodatkowo dobudowali pomieszczenia mieszkalne w części bramnej. Siostrzenica Jerzego II Rederna wyszła za mąż za hrabiego Kaspra Colonnę, któremu później jako właścicielowi zawdzięczał toszecki zamek kolejną przebudowę.
    W XVIII w. zamek kilkakrotnie zmieniał właścicieli, najpierw był nim baron Johann Dietrich von Peterswald, potem Franciszek Karol Kotuliński, w końcu rodzina poety Josepha von Eichendorffa. Niemiecki poeta Johann Wolfgang von Goethe był gościem na zamku w dniu 3.09.1790r. o czym pisał chwaląc zamkową gościnność. W 1897 Eichendorfowie sprzedali posiadłość hrabiemu Franciszkowi Adamowi Gaschinowi.
    Czterokondygnacyjna baszta u podstawy czworoboczna, powyżej ośmioboczna stoi na swoim pierwotnym miejscu, kryjąc pod sobą głębokie lochy. Budynek od płn. strony muru obronnego był w XVII w. stajnią, świadczą o tym zachowane ozdobne żłoby końskie w formie wnęk; w XVIII w. zamieniony został na oranżerię. Ostatnie lata świetności zamku należały do rodu Gaschin, wiek XIX był dla obiektu początkiem końca. Dokładnie 29.03.1811 r. cały zamek strawił pożar. Z tą datą wiąże się też legenda o Złotej Kaczce, którą uciekając przed pożarem zabrała ze sobą hrabina Gizela von Gaschin. Ponoć cenny skarb dalej spoczywa w podziemnych korytarzach. Po pożarze z 1811 nie planowano już odbudowy rezydencji; w 1840 ruinę kupił Abraham Guradze. Rodzina Guradze była w posiadaniu zamku do II wojny światowej. W latach 1957-1963 zamek został częściowo odbudowany. Obecnie stanowi siedzibę Centrum Kultury "Zamek w Toszku”.