Народився на Східній Волині в родині священика. У рідному селі закінчив трьохкласну церковнопарафіяльну школу. Продовжив навчання спочатку в гімназіях спершу Острога, а потім Ізяслава. Саме в Острозі, як згадував учений, він уперше побував у музеї, побачив пам'ятки мистецтва, і це стало справою його життя.
Трудову діяльність розпочав 1921 року як учитель у сільських школах Східної Волині. Глибоке зацікавлення історією, філософією, культурою, краєзнавством привело молодого вчителя на роботу до Житомирського краєзнавчого музею.
Широку музейну діяльність почав 1926 року в Харкові на посаді наукового співробітника художнього музею, де працював під керівництвом Степана Таранущенка. У 1926-1931 роках брав участь в експедиціях музею з виявлення та збору пам'яток історії та культури або просто пішки з фотоапаратом у руках обійшов, досліджуючи Полтавщину, Чернігівщину, Поділля, Полісся, Київщину та Слобожанщину. «Ступанієм та п'ядієм обміряв Україну», — згадував учений.
1926-1930 — з'явилися перші наукові публікації Жолтовського.
Активну творчу працю вченого перервав 1933 року його арешт. Він був засуджений за надуманим звинуваченням у «контрреволюційній діяльності» до 3 років ув'язнення у виправно-трудових таборах і протягом 10 років за ним зберігалось обмеження щодо місця проживання.
Його наукові інтереси були неподільно пов'язані з музейництвом, колекційно-експедиційною роботою. За понад 60 років своєї трудової діяльності Павло Жолтовський обстежив усю Україну, побував на Кавказі, в Білорусі, Росії, зорганізував понад 200 експедицій і наукових відряджень.
Останні наукові експедиції вченого пов'язані з Волинню. У 1980—1985 роках він працював науковим консультантом експедицій Волинського краєзнавчого музею з виявлення, обліку та збору цінних історичних і мистецьких пам'яток. До музею було зібрано понад 1000 експонатів, які характеризують мистецтво України XVI—XIX століть. Таким чином, було створено збірку сакрального мистецтва (ікони, скульптура, дерев'яне різьблення, металопластика тощо) у Волинському краєзнавчому музеї.
Як науковий керівник проводив першу атрибуцію виявлених пам'яток, працював над маршрутом експедиції, допомагав у веденні документації, читав лекції, проводив бесіди з науковими співробітниками. Внаслідок багаторічного експедиційного обстеження надзвичайно потерпілого середньовічного живопису на волинській землі Жолтовський не тільки врятував багато унікальних пам'яток, а й обґрунтував гіпотезу про волинську ікону як регіонально-самобутнє явище в українському малярстві XV—XVII століть.
Був єдиним українським вченим радянських часів, який виявив відвагу, попри антисемітизм влади, писати та видавати наукові праці, присвячені єврейському церемоніальному мистецтву України. Деякі з них опубліковані, зокрема, у часописах «Декоративное искусство СССР» та книзі «Художнє лиття на Україні. XIV—XVIII ст». (Київ, 1973). Відомо, що саме завдяки його зусиллям безліч творів єврейського мистецтва були врятовані від знищення: збираючи церемоніальні прикраси стародавніх синагог на звалищах Галичини, він переховував їх у запасниках Музею етнографії та народного промислу у Львові.
Праці
Жолтовський Павло. UMBRA VITAE. Спогади, листування, додатки / ред. тому О. О. Савчук [Архівовано 30 жовтня 2013 у Wayback Machine.]; передм. М. І. Моздира ; наук. коментар В. С. Романовського ; підготовка тексту Ж. Д. Сімферовської, О. О. Савчука, В. С. Романовського ; підготовка та коментарі до листування І. Ю. Тарасенко, С. І. Білоконя ; примітки Є. О. Котляра, О. О. Савчука. — 2013. — 608 с.; 353 іл. — Серія «Слобожанський світ». Випуск 6.
Автобіографія. Рукопис // Фонди Харківського художнього музею.
Визвольна боротьба українського народу в пам'ятках мистецтва XVI—XVII ст., 1958.
Когда подъезжал я к Берлину (из воспоминаний П. Н. Жолтовского) // Ант. Вип. 19-21. — К., 2007—2008. — С. 200—211 (публикация и подбор иллюстраций Н.Селивачёвой).
Малюнки Києво-Лаврської іконописної майстерні: Альбом-каталог. — К.: Наукова думка, 1982. — 287 с.
Нариси з історії українського декоративно-прикладного мистецтва. — К., 1969.
П. Жолтовський про старообрядців (із спогадів) // Ант. Вип. 13-15 — К., 2005. — С. 180—183.
Рідне село (продовження мемуарів Павла Жолтовського) // Ант. Вип. 16-18. — К., 2006. — С. 198—204 (публікація та підбір ілюстрацій Н. Селівачової).
Спогади Павла Жолтовського (із розділу про Харків 1920-х рр.) // Ант. Вип. 10—12. — К., 2003. — С. 174—178.
Страна над Вислой (Польша глазами Павла Жолтовского. 1958 г. Из воспоминаний) // Ант. Вип. 22-24. — К., 2010. — С. 236—243 (публикация и подбор иллюстраций Н. Селивачёвой).
Українське декоративне мистецтво. — К., 1963. — 35 [10] с., іл. (у співавторстві з П. Н. Мусієнко).
Український живопис XVII—XVIII ст. — К.: Наукова думка, 1978. — 327 с.
Художнє життя на Україні XIV — XVIII ст. — К.: Наукова думка, 1973. — 132 с.
Художнє життя на Україні в XVI — XVIII ст. — К.: Наукова думка, 1983. — 180 с.
Художній метал. Історичний нарис. — К.: Мистецтво, 1972. — 114 с.
Моздир М. Він завжди з нами (до 100-річчя від дня народження Павла Жолтовського // Мистецтвознавство ’04. — Львів, 2004. — С. 135—275.
Овсійчук В. Павло Жолтовський як дослідник українського іконопису XVII—XVIII ст. // Народознавчі зошити. — 1995. — № 5. — С. 268—270.
Петрякова Ф. Павло Жолтовський — історик художньої культури (світосприйняття, наукові зацікавлення, принципи) // Мистецтвознавство ’99. — Львів, 1999. — С. 201—208.
Побожій С. «Жупани»: справа № 1029 над харківськими мистецтвознавцями // Родовід. — 1999. — № 1 (17). — С. 17-25.
Пуцко В. Мистецтвознавча спадщина Павла Жолтовського // Ант. Вип. 13-15. — К., 2005. — С. 175—180.
Селівачова Н. Рятівник архістратига (П. М. Жолтовський) // Науковий збірник, присвячений 900-літтю Свято-Михайлівського Золотоверхого монастиря. — К., 2008. — С. 253—256.
