Родился около 1611 года. Старший сын Джеймса Стюарта, 3-го графа Морея (1581—1638), и леди Энн Гордон (1590—1640), дочери Джорджа Гордона, 1-го маркиза Хантли, и Генриетты Стюарт.
В феврале 1637/1638 года Джеймс Стюарта стал членом Тайного совета Шотландии.
18 октября1627 года Джеймс Стюарт женился по контракту на леди Маргарет Хьюм (? — 1683), дочери Александра Хьюма, 1-го графа Хьюма (ок. 1566—1619), и Мэри Дадли. У пары было восемь детей:
Джеймс Стюарт, лорд Дун (до 1634 — до 1653), был женат на Кэтрин Толлмаш[1].
Александр Стюарт, 5-й граф Морей (8 мая 1634 — 1 ноября 1701), второй сын и преемник отца. Был женат на Эмилии Бальфур (? — 1683)
Достопочтенный Арчибальд Стюарт (28 февраля 1642/1643 — февраль 1688), губернатор замка Стерлинг, женился в 1669 году на Анне Хендерсон, дочери сэра Джона Хендерсона, 5-го Форделла, и его жены Маргарет Ментейт
Граф и графиня отремонтировали свой дом в Донибристеле, наняв английских мастеров, включая художников Эдварда Артура и Джорджа Кроуфорда[2]. Они установили фонтан с бронзовой фигурой Меркурия. Графиня жила вдовой до 1683 года, она содержала Moray House в Эдинбурге и его сады, а также сажала леса в Донибристеле.
L. G. Pine, The New Extinct Peerage 1884—1971: Containing Extinct, Abeyant, Dormant and Suspended Peerages With Genealogies and Arms (London, U.K.: Heraldry Today, 1972), page 109.
G.E. Cokayne; with Vicary Gibbs, H.A. Doubleday, Geoffrey H. White, Duncan Warrand and Lord Howard de Walden, editors, The Complete Peerage of England, Scotland, Ireland, Great Britain and the United Kingdom, Extant, Extinct or Dormant, new ed., 13 volumes in 14 (1910—1959; reprint in 6 volumes, Gloucester, U.K.: Alan Sutton Publishing, 2000), volume I, page 205 and volume VIII, page 4.
Sir James Balfour Paul, editor, The Scots Peerage : founded on Wood’s ed. of Sir Robert Douglas’s Peerage of Scotland; containing an historical and genealogical account of the nobility of that kingdom, volume VI, pp. 316—322, (David Douglas, 1909). Archive.org, https://archive.org/details/scotspeeragefoun06pauluoft/page/320/mode/2up