У місті збереглися історичні вали – залишки унікальної земляної фортифікаційної споруди середини XVIII століття, збудованої у 1754 році німецьким інженером І. Менцеліусом, площа якої охоплює 6 гектарів. Фортеця мала форму шестикутника, оточеного валами і глибоким ровом. Бастіони мали форму п’ятикутників з відкритими на фортечний плац горжами та подвійні фланки. Равеліни мали форму неправильних ромбів і були відкриті з тилу. Також у фортеці було троє воріт зі сторожовими вежами та кордегардіями: Троїцькі (головні, тепер виїзд на Новоолексіївку), Пречистенські та Всіхсвятські.

Із 1754 року навколо згаданого укріплення поселення почало розростатись з новою силою. До вже існуючих козацьких зимівників приєднувалось новоприбуле населення, що було задіяне в будівництві фортеці. В 1763 році на території фортеці було відкрито школу для офіцерських дітей, у 1764 році – засновано першу в Україні друкарню цивільного шрифту, у 1787–1788 роках засновано один з перших в Україні медичних навчальних закладів – медико-хірургічну школу, яку закінчив Є.Й. Мухін, що став видатним хірургом і був одним з вчителів М.І. Пирогова. Сам М.І. Пирогов працював у фортечній лікарні під час Кримської війни 1853–1856 років.

Фортеця має статус пам’ятки містобудування та архітектури національного значення і дотепер залишається пам’яткою будівельного таланту і праці сотень українців  – селян, солдатів, козаків, які звели серед степу цей шедевр військово-інженерного мистецтва.

Екскурсії фортецею розповідають про буремне історичне минуле краю, розкриваючи цікаві подробиці тогочасного життя. Також на історичних валах сьогодні розташовані два меморіали – це Меморіал Слави на вшанування пам’яті воїнів, солдат і офіцерів, які загинули у Другій світовій війні, а також Меморіал, присвячений вшануванню пам’яті воїнів, які загинули в зоні антитерористичної операції на сході України.