В результате успешного контрнаступления на Орловском плацдарме 3-го августа 1943 года советские войска приблизились к Орлу. Военный совет Брянского фронта обратился к воинам с призывом: «Бойцы и командиры! На ваших глазах гитлеровцами уничтожается город Орел. Вы находитесь в 6—10 километрах от него. Два-три часа быстрого наступления не только сохранят вас от лишних потерь, но и не позволят врагу окончательно разрушить наш родной город. Вперед , на скорейшее его освобождение!». В ночь на 4 августа начался штурм Орла. Преодолевая ожесточенное сопротивление врага, утром 5-го августа 1943 года в город Орел ворвались части Красной Армии. 5-го августа Орел был полностью освобожден. На единственно уцелевшем доме (№ 11 по улице Московской, ныне – площадь Мира, д. 5) было водружено Красное знамя. В память о героях-танкистах, освобождавших город Орел от фашистов, бывший Первомайский сквер с 1943 года носит название сквер Танкистов. В день 20-й годовщины освобождения Орла от немецко-фашистских захватчиков почетным гражданином города Маршалом Советского Союза И. X. Баграмяном у подножия постамента, на котором стоит танк, был зажжен Вечный огонь в память о тех, кто пал в годы Великой Отечественной войны. К 25-летию освобождения Орла было решено перенести памятник из глубины сквера на то место, где его привыкли видеть уже несколько новых поколений жителей города. Вместо танка Т-70 на постаменте был установлен знаменитый танк Т-34. 5 августа 1968 года монумент был открыт.  
На братской могиле в центре сквера стоит гранитный монолит с именами погибших воинов. Сооружены две стелы с картой сражения на Орловско-Курской дуге и текстом приказа Верховного Главнокомандующего о первом победном салюте в Москве в честь освобождения городов Орла и Белгорода от оккупантов.
Архитектурно-планировочными работами в 1944-1956 и в 1963-1968 годах занимались архитекторы А.Родионов, К.Силобрам, С.Фёдоров, О.Левитский и О.Вернослов.