Na místě, nacházejícím se asi osm kilometrů jihozápadně od Děčína, vznikla na počátku 13. století osada. Její jádro se začalo budovat při soutoku řek Bystré a Ploučnice. Osadu údajně zakládal Beneš Větrný z Michalovic. Tomu patřil nedaleký, dnes již prakticky zapomenutý hrad Ostrý. Tento panovník založit i jiný Benešov a to nad Čermnou.
Je pravděpodobné, že se na místě dnešního města (tím je od roku 1392) nacházelo původně kultovní místo. Kdysi tu byly
převážně mokřady a bažiny, místo dokonale chránácí. Jisté je, že tudy vedla obchodní cesta spojující se s další cestou, vedoucí ústím Labe z Prahy do východních Saska a Lužnice.
Posuneme se v historii, v roce 1410 rozděluje své panství Hynek Berka svým pěti synům. Jelikož je Hynek v období husitství jeho velkým odpůrcem, nezabrání ani kvalitní opevnění tomu, aby se sirotčí vojska Jana Roháče do města dostala a město vyplenila. Město se následně po velmi dlouhý čas vzpamatovávalo. Roku 1450 se stává majitelem Jan z Vartenberka. Díky tomuto rodu se objevuje písemná zmínka o novém zámku a o přestavbě kostela. To se psal rok 1483 (z tohoto roku se tu zachovala křtelnice). Kostel se budoval 28 let. Později k němu byla
přistavěna pohřební Salhausenská kaple.
V období dostavby kostela získává město rod Salhausenů. Výsledkem je vybudování dvou zámků, nacházejících se vedle sebe.
Renesanční Horní zámek je vystavěn ve stylu saské či severské renesance, majícího prvky gotiky. Zámecký palác, tzv. Dolní zámek vzniká nad náměstím díky odkoupení několika domů. Později je ještě dostavě kostel Narození Panny Marie. Jak tomu bývá, bratři, majitelé se rozešli. Město se rozdělilo na dvě části.
Potomci dali Dolní renesanční zámek rozšířit. Přistavěli několik samostatných budov, které propojili úzkými uličkami. K roku 1620 pak rod Salhasenů vymírá a postupně se majitely stávají Vchyniští z Vchynic, Aldringernové, Clary-Aldringenové, Černínové z Chudenic a dokonce i Valdštejnové. Nutno dodat, že v období třicetileté války neuvěřitelně schudlo. Bylo z valné části poničeno.
Základní kámen barokního Mariánského sloupu byl položen v roce 1740. O pět let později byla celá stavba vysvěcena. Město v průběhu času postihlo několik požárů. Největší nastal v roce 1863. Dalšímu rozvoji města připělo vybudování železnice s vlečkou.
V současné době jsou oba zámky přístupné. Atraktivní je prohlídka města a blízkého okolí. Z vlakového nádraží můžete vyrazit na výlety do blízkých i vzdálených míst. Například se dá dojít na rozhlednu Kohout nebo do Děčína přes další rozhledny (Sokolí vrch či Chlum).