Первое поселение европейцев было известно как Ориндж-Корт-Хаус вплоть до конца XIX века. Первое почтовое отделение США было построено в городе в 1796 году. С 1801 по 1804 год старое здание окружного суда было заменено новым, с офисом клерка и, позднее, с новой тюрьмой[5].
Ориндж был стратегически важным местом во время Гражданской войны в США. К северу от города река Рапидан фактически была северной границей Конфедерации с марта 1862 по май 1864 года. Соответственно, эта область стала свидетелем бесчисленных перемещений войск, патрулей, стычек и лагерей. Кроме того, город Ориндж служил штаб-квартирой генерала Роберта Эдварда Ли, который часто молился в епископальной церкви Св. Фомы. Эта церковь также имеет значение, поскольку она служила госпиталем для раненых конфедератов после битвы при Чанселорсвилле и битвы в Глуши. Ли много раз проходил мимо этой церкви во время своего пребывания в Ориндже. Морт Кюнстлер[англ.], американский художник, писавший на американские исторические сюжеты, увековечил эту сцену в своей картине «Солдат веры»[6][7].
В 1890 году город официально изменил своё название на нынешний Ориндж[6].
По данным Бюро переписи населения США, общая площадь города составляет 3,32 квадратных мили (8,60 км2), из которых 3,31 квадратных мили (8,56 км2) приходится на сушу, а 0,02 квадратных мили (0,04 км2 или 0,49%) — на воду[8].
