Његов старији брат Хајнрих је умро као беба у августу 1071. те је Конрад тако постао престолонаследник. Свог оца је следио на путу за Каносу, а послије је остао у Италији где га је образовао надбискуп Тедалд од Милана. За очеве владавине је 1087. изабран за краља Немачке и службено окруњен 30. маја исте године. Шест година касније је у Италији од стране миланског надбискупа Анселма III крунисан за краља Италије.
За вријеме боравка у Италији је дошао под утицај грофице Матилде од Тоскане као и помајке Евпраксије Кијевске, захваљујући чему је у спору о инвеститури стао на страну папе и окренуо се против властитог оца. Године 1095. је дошао на црквени концил у Пјаченци гдје је пред папом Урбаном II и другим великодостојницима потврдио Евпраксијине оптужбе како му је отац био припадник јеретичке секте николаита, приређивао оргије на двору укључујући црну мису на Евпраксијином голом тијелу, те му чак нудио да однос са властитом помајком. Урбан га је након тога прогласио папским стратором, уредио брак са норманском принцезом Констацом од Сицилије, кћери грофа Руђера I. Хајнрих IV је на то реаговао тако што је у априлу 1098. сазвао царску скупштину (Рајхстаг) у Мајнцу. Она је формално одузела Конраду све титуле и за насљедника прогласила млађег брата Хајнриха V. Конрад, који изван Италије није могао утицати на политичка збивања, умро је у Фиренци три године касније.
