Улица возникла как дорога на Сумы во второй половине XVII века.
До конца XVIII века Сумская была очень короткой и заканчивалась на месте нынешней Театральной площади, по территории которой проходил городской оборонительный вал.
На месте нынешнего сквера Победы стояла каменная Мироносицкая церковь, за которой находилось закрытое в 1804 году городское кладбище. До 1840 года оно наводило ужас на горожан, поскольку в его склепах и часовнях по ночам собирались и ночевали бродяги и уголовные элементы.
В 1852 году было открыто продолжение улицы через Сокольники на Белгород — Сумское шоссе (новая Белгородская дорога), с регулярным движением почтово-пассажирских дилижансов на Москву.
В 1900-е годы в помещении аптеки на углу Сумской и Рымарской находилась явка большевиков. Именно туда за адресом конспиративной квартиры пришёл прибывший в январе 1905 года на партийную работу в Харьков Артём. Затем он жил в здании по Сумской улице, 50.
В 1893—1895 годах на южной границе Сокольников был заложен и в 1907 году торжественно открыт загородный Николаевский парк с парадным входом с улицы Сумской. Финансирование парка осуществлялось за счёт харьковцев[3], многие из которых, особенно студенты и гимназисты, непосредственно участвовали в посадке деревьев. В итоге первоначально планировавшаяся площадь парка в 40 десятин была увеличена до 90 десятин (98 га). Планировка аллей подражала Булонскому лесу в Париже: объединённые в вытянутое кольцо Каштановая и Липовая аллеи (называвшиеся также Экипажными) предназначались для конных прогулок[4].
В 1938 году парк получил имя писателя А. М. Горького.
В 1916 году на улице Сумской произошло крупнейшее в России ограбление банка польскими «гастролёрами», которое расследовал столичный следователь Аркадий Францевич Кошко.
В 1917 году застройка Сумской заканчивалась на границе нынешней ул. Маяковского.
В доме Бергера (тогдашний номер 82) в 1919 году находилась ВЧК. Утром 22 июня (н. ст.) 1919 года, в начале неудавшегося белого восстания, офицеры под командование полковника Двигубского напали на ЧК, заняли 4 этажа и освободили 45 арестованных[5].
Сумская, 9. Театр им. Шевченко (назван в 1934), первоначально театр Млотковского, архитектор А. А. Тон, 1842, здание перестроено в 1893 по проекту Б. Г. Михайловского, восстановлено после войны в 1950-х годах.
Сумская, 40. Здание ХИСИ — Инженерно-строительного института, ныне ХНУСА, памятник архитектуры конструктивизма, архитектор А. Г. Молокин, 1927—1929.
Сумская, 52. Усадьба А. Красовской (1874—1877 гг). В 1880 году второй владелицей, кроме Красовской, становится жена статского советника Теофила (Феофила) Альдбертовна Полюта. В 1883—1895 г оба эти участка принадлежат кандидату прав Ивану Осиповичу Фесенко. В 1893 году в доме Фесенко была горловая и ушная лечебница доктора Данина. В 1897—1916 гг владельцем был статский советник, горный инженер Николай Степанович Авдаков. В 1898 г он перестраивает дом в готическом стиле по проекту архитектора В. Г. Кричевского. Здание в псевдоготическом стиле прежде было одноэтажным (арх. Г. Я. Стрижевский, 1874 г.), в 1910 г. оно было надстроено на один этаж по проекту И. И. Загоскина и В. Кричевского — известного мастера украинского модерна. До революции в этом доме находилась частная лечебница врача-фтизиатра А. Н. Авдаковой. В этом здании в 1910 г. доктором Алпатьевой было открыто первое в Харьковской губернии специализированное противотуберкулёзное отделение, как частное противочахоточное заведение, которое просуществовало почти 100 лет.
В 2008 году в зоне исторической застройки Александр Фельдман построил косое чёрное офисное здание «Чёрный квадрат» (Platinum plaza) (Сумская, 70) в стиле деконструктивизм[7].
Сумская улица в популярной культуре
В этом разделе не должны перечисляться малозначимые либо слабо связанные с объектом статьи его упоминания и изображения в произведениях культуры.
↑Институт передовых технологий, Укргеодезкартография.Дзержинский район // Харьков. Атлас с каждым домом. М 1:16 000, 1:8 000 (рус.) / отв. ред. Н. Шаргородская. — 2-е издание. — Х.: Институт передовых технологий, 2011. — С. 27 (квадрат А). — 84 с. — 10 000 экз. — ISBN 978-966-455-072-4.
↑Институт передовых технологий, Укргеодезкартография.Киевский район // Харьков. Атлас с каждым домом. М 1:16 000, 1:8 000 (рус.) / отв. ред. Н. Шаргородская. — 2-е издание. — Х.: Институт передовых технологий, 2011. — С. 27 (квадраты А, Б). — 84 с. — 10 000 экз.
↑До 1930-х годов жители города назывались харьковца́ми, а не харьковчанами.
↑По окрестностямъ Харькова. Опытъ естественно-историческаго путеводителя / Студенческій кружокъ натуралистовъ при Харьковскомъ Университетѣ / под общ. ред. проф. В. М. Арнольди. — Харьковъ: типографія Б. Г. Бенгисъ, 1916.
↑Двигубский А.М. Отчёт о деятельности Харьковского разведывательного центра. Составлен полковником Двигубским, начальником Харьковского центра разведывательного отделения штаба Главнокомандующего Вооружёнными силами Юга России в июне 1919 года.. — Харьков: Харьковский частный музей городской усадьбы, 2007. — 56 с. — 300 экз. — ISBN 978-966-8246-77-7.
↑Перечень объектов, относящихся к городской символике