Улица, проходившая вдоль внутренней стороны стен Земляного города, была спрямлена при регулярной перепланировке города 1778 года и названа Казанской, по расположенному на ней Казанскому монастырю. Ранее это название носила улица, проходившая с другой стороны монастыря.
В конце XVIII — начале XIX века городские стены были разобраны и на их месте разбиты Волжский и Казанский бульвары и Торговая площадь, на месте которой вскоре был выстроен новый Гостиный двор. Казанская стала одной из главных улиц Ярославля.
В 1924 году улица переименована коммунистами в Первомайскую по одному из главных советских праздников — Первое мая.
№ 17 — Усадебный комплекс купцов Пеговых. Первоначально был двухэтажным, третий и четвертый этажи надстроены в советское время. В начале XX века в нем находилось первое в Ярославле музыкальное училище. Здесь же помещалось ярославское отделение императорского музыкального общества. Перед ярославцами здесь выступали солисты Большого театра Л. В. Собинов и Ф. И. Шаляпин, пианист Н. Г. Рубинштейн и Е. Ф. Гнесина, скрипачи Л. С. Ауэр и Я. Кубелик, композиторы А. Т. Гречанинов и А. Н. Скрябин, кружок игры любителей на балалайке В. В. Андреева и другие, не менее известные в России и Европе деятели музыкальной культуры.[5]
№ 19а — Казанский собор, построенный в 1835—1845 годах по проекту архитектора А. И. Мельникова на месте церкви XVII века
№ 21 и 21а — Кельи Казанского монастыря
№ 25 — Бывший дом Бартеневой. Построен в 1802 году
№ 29 — Бывший Торговый дом Манделя. Построен в начале XX века