Jižně od obce Vlastislavi se zachovaly zříceniny hradu Skalky, na severní straně je protáhlá nízká ostrožna se zbytky starého slovanského hradiště, chráněného třemi valy s příkopem. S jeho existencí jsou spojovány zprávy z Kosmovy kroniky o lučanském knížeti Vlastislavovi a jeho výbojích; hradiště je mělo upevnit na Lovosicku. Archeologické nálezy potvrzují, že hradiště nebylo dlouho osídleno, a předpoklad, že Kosmova zpráva má určitý reálný podklad, je značně pravděpodobný. Existence hradiště zároveň ukazuje zájem na opevnění tohoto místa od nejstarších dob.
Hrad Skalka se prvně připomíná již r. 1357, kdy je zmiňován Petr zvaný Skála, zakladatel skalsko – řehlovické větve Kaplířů ze Sulevic. Za husitských válek držel hrad Hanuš ze Sulevic, význačný straník krále Zikmunda a odpůrce kališníků. V r. 1496 získali Skalku odkazem Vchynští z Vchynic. Poté se majitelé poměrně rychle střídali, až nakonec r. 1544 Skalku koupil Jan Kaplíř ze Sulevic a na Košťálově. V r. 1579 hrad přešel na Adama Hrzána z Harasova, který významně rozšířil své panství nákupem dalších statků. Jeho syn Zdeslav byl rozmařilý, nešetrný šlechtic a brzy se dostal do dluhů. Když otec 11. ledna 1619 umírá, získává Zdeslav svou část panství Skalka a Stvolíky; po smrti nejmladšího bratra pak i Lanškroun. Po stavovském povstání měl být Zdeslavovi zabaven majetek; Zdeslav však podplatil královského místodržícího, jemuž daroval Lanškroun, takže 29. listopadu 1622 byl osvobozen a stal se hejtmanem Litoměřického kraje. R. 1639 byl hrad Skalka zpustošen švédskými vojsky; jeho zdiva bylo použito při budování barokního zámku, který si posléze při bývalém hradu postavili Hrzánové z Harasova.
Hrad stával na úzkém skalním hřebenu orientovaném ze severovýchodu na jihozápad. Jižní a východní stranu hřebene tvoří skaliska šikmo spadající k spočinku. Severovýchodní stranu ohraničuje skalní stěna, ke které se téměř přimyká budova zámku. Severozápadní svah je povlovný. Odsud také směřuje přístupová cesta, která se větví do dvou úseků. Jeden směřuje k skalnímu suku s bergfritem, druhý běží jižním směrem pod předhradí. Zde se stáčí a běží výraznou roklinkou podél skalního hřebene na předhradí. Někde v těchto místech spatřoval ještě A. Sedláček zbytky branky. V severní části předhradí jsou dva menší skalní kužely, jižní část plochy klesá a má charakter terasy. Východní stranu uzavírá poměrně vysoký skalní blok. Za předhradím se nachází dnes částečně zavezený příkop, v kterém jsou patrné novověké úpravy v podobě terasních zídek a schůdků (pro ně byly druhotně použity architektonické články). Ve východní stěně příkopu je výrazný zásek, interpretovaný Z. Fišerou jako zápust pro přepažovací zeď. Za příkopem cesta pokračuje podél severní strany skalního kuželu s bergfritem. Věž s překvapivě dochovanými stínkami cimbuří má nepravidelný půdorys a je vysoká 15,5 m; ve výšce 9,5 m nad zemí má vstup. Uvnitř věže se kdysi nacházely nápisy, které zde vyryli vězni v době, kdy věž sloužila jako vězení (poč. 17. století). Za bergfitem se nachází malé prostranství, které patrně zaujímal palác. Jihovýchodně od hradu se nachází spočinek, který je upraven jako terasa se zídkami stavěnými na sucho.
Nejstarší část sídla představuje hradní areál na vrcholu skalního hřebene. Později se hrad rozšířil i na místo zámku, kde se po něm dochovaly části sklepů. Patrně již před r. 1579 byl na místě dnešního zámku vystavěn zámek renesanční, v r. 1639 zpustošený Švédy. Současný zámek pochází někdy z konce 17. století. Při jeho stavbě bylo používáno materiálu lámaného na hradě, z kterého tak zůstala stát pouze impozantní věž.
Zdroj: Hrady Českého středohoří, z.s.