Najstarsza wzmianka o obronnej budowli w tym miejscu pochodzi z dokumentu mogileńskiego z 1155 roku istniał tu wtedy obronny gród który strzegł granicy Mazowsza z Prusami. W latach 1422-1429 na miejscu grodu na mokradłach nad rzeką Ładynią z inicjatywy księcia Mazowieckiego Janusza I Starszego powstał zamek murowany którego ruiny stoją do dzisiaj. W 1463r. w trakcie wojny trzynastoletniej załoga zamku kilkakrotnie odparła ataki wojsk krzyżackich. Po wejściu Mazowsza w skład państwa Polskiego w 1523r. zamek został nadany królowej Bonie, która go przebudowała na rezydencję reprezentacyjną.
    W XVI i XVII wieku zamek praktycznie stracił znaczenie militarne i był użytkowany jako siedziba lokalnych urzędów i sądu. W 1655r. zamek został zdobyty przez szwedów a następnie zniszczony. Po wojnie w zamku mieściło się miejskie archiwum oraz odbywały się posiedzenia sądów, jednak brak jakichkolwiek prac remontowych sprawiał, że stan zamku systematycznie się pogarszał i pod koniec XVIII wieku został opuszczony. W 1795 roku zostały rozebrane przez władze pruskie wszystkie budynki wewnętrzne tak że pozostały tylko mury obronne oraz wieże a cegłę przeznaczono na budowę browaru w niedalekiej Opinogórze. W czasie II Wojny Światowej w zamku odbywały się egzekucje członków polskiego ruchu oporu, a po wojnie zamek został zabezpieczony jako trwała ruina dla celów turystycznych.