Die Stadt wird überragt von einer der größten Burgruinen in Deutschland (Stammsitz der Grafen von Wertheim, bis 1556) mit Haupt-, Vor- und Außenburg (Bergfried um 1200; ein Wohnbau von 1556 bis 1562 stockte den gotischen Palas auf und integrierte eine Kapelle, erbaut 1200–10; Johannesbau um 1470; Löwensteiner Bau um 1590).