Na místě, nacházející se asi osm kilometrů jihozápadně od Děčína, vznikla na počátku 13. století osada. Ta se začala budovat při soutoku řek Bystré a Ploučnice. Osadu údajně zakládal Beneš Větrný z Michalovic. Tomu patřil nedaleký, dnes již prakticky zapomenutý hrad Ostrý. Tento panovník založit i jiný Benešov a to nad Černou.
Je pravděpodobné, že se na místě dnešního města (tím je od roku 1392) nacházelo původně kultovní místo. Kdysi tu byly
převážně mokřady a bažiny, které místo dokonale chránily. Jisté je, že tudy vedla obchodní cesta spojující se s další cestou, vedoucí ústím Labe z Prahy do východních Saska a Lužnice.
Posuneme se v historii, v roce 1410 rozděluje své panství Hynek Berka svým pěti synům. Jelikož je Hynek v období husitství jeho velkým odpůrcem, nezabrání ani kvalitní opevnění tomu, aby se sirotčí vojska Jana Roháče do města dostala a město vyplenila. Město se pak po velmi dlouhý čas vzpamatovávalo. Roku 1450 se stává majitelem Jan z Vartenberka. Díky tomuto rodu se objevuje písemná zmínka o novém zámku a o přestavbě kostela. To se psal rok 1483 (z tohoto roku se tu zachovala křtelnice). Kostel se budoval 28 let. Později k němu byla
přistavěna pohřební Salhausenská kaple.
V období dostavby kostela získává město rod Salhausenů. Výsledkem je vybudování dvou zámků, nacházejících se vedle sebe.
Renesanční Horní zámek je vystavěn v ve stylu saské či severské renesance, mající prvky gotiky. Zámecký palác, tzv. Dolní zámek vzniká nad náměstím díky odkoupení několika domů. Později je ještě dostavě kostel Narození Panny Marie. A jak tomu bývá, bratři, majitelé se rozešli a město se rozdělilo na dvě části.
Potomci dali Dolní renesanční zámek rozšířit. Přistavěli několik samostatných budov, které propojili úzkými uličkami. K roku 1620 pak rod Salhasenů vymírá a postupně se majitely stávají Vchynsští z Vchynic, Aldringernové, Clary-Aldringenové, Černínové z Chudenic a dokonce i Valdštejnové. Nutno ale dodat, že v období třicetileté války neuvěřitelně schudlo. Bylo z valné části poničeno.
Základní kámen barokního Mariánského sloupu byl položen v roce 1740. O pět let později byla celá stavba vysvěcena. Město v průběhu času postihlo několik požárů. Největší pak v roce 1863. Dalšímu rozvoji města připělo vybudování železnice a vlečky.
V současné době jsou oba zámky přístupné. Atraktivní je i prohlídka města a blízkého okolí. Z vlakového nádraží můžete vyrazit na výlety do blízkých i vzdálených míst. Například se dá dojít na rozhlednu Kohout nebo do Děčína přes další rozhledny (Sokolí vrch či Chlum).