В VII—VIII веках в район нынешнего Хрудима пришли славяне. Поселение, очевидно, появилось в IX веке, хотя первое упоминание о нём относится к 1055 году, когда здесь умер чешский князь Бржетислав I. В правление Пржемысла Оттокара II Хрудим стал королевским городом. Его выгодное положение на пути из Праги в Моравию сделало Хрудим одним из основных городов Чешского королевства.
Во время Гуситских войн (1419—1434) Хрудим поддержал сторонников Гуса, немецкое население покинуло город. Тяжёлым бедствием для города стала также Тридцатилетняя война. Хрудим начал терять свою былую значимостью.
Строительство железной дороги через Хрудим в третьей четверти XIX века негативно отразилось на экономике города. Несмотря на это, Хрудим постепенно становился культурным центром.
Костёл Вознесения Девы Марии
Достопримечательности
Музей кукольных культур
Церковь Вознесения Девы Марии (1857—1879)
Церковь Святого Иосифа (1662—1665)
Церковь Святой Екатерины Александрийской (1662—1665)