Za Karla IV. bylo město známo jako hornické s nalezištěm stříbra. Na královské město byl Pelhřimov povýšen v roce 1596 majestátem Rudolfa II. Do současnosti se dochovala i část původního opevnění (14. a 15. století a při stavbě bylo vzorem opevnění Tábora) včetně dvou gotických bran. Rynárecká brána s trojpatrovou věží a Jihlavská , zvaná též Dolní s pětimetrovou věží, ve které nyní sídlí Muzeum rekordů a kuriozit. Obě byly postaveny v 15. století. Nad náměstím si můžete prohlédnout Zámek pánů z Říčan, pocházející z poloviny 16. století, ze kterého se ale museli majitelé vystěhovat a pak sloužil jako radnice a byl renesančně a později barokně upraven.
     Nejstarším kostelem ve městě je kostel sv. Víta, pocházející ze začátku 13. století, v roce 1671 byla založena Kaple sv. Kříže a cestou zpět k nádraží se můžete podívat ještě na bývalou poutní Kapli Panny Marie Bolestné, pocházející z roku 1710.
     Pokud se vydáte prohlédnout si město po "Stezce po stavebních slozích", projdete staré městské centrum s honosnými domy bohatých měšťanů, uvidíte děkanský kostel, zámek pánů z Říčan, novou radnici, tři brány a rozsáhlé pozůstatky městských hradeb. Vnější okruh vám pak zavede do předměstkých kostelů a do děkanské zahrady. Můžete obdivovat starou i novější architekturu veřejných i soukromých budov. Ve 13. - 15. století to byla gotika, v 16. století renesance například se pyšnící sgrafitovou výzdobou budov. Baroko mezi 17. a 18. stoletím se pak tkvělo ladnými siluetami budov. Kubistické stavby 19. století pak dotváří celkový obraz města, jež je vyhlášeno městkou památkovou rezervací.