1848년 혁명과 빈 봉기 시기에는 그의 왕족들과 함께 인스부르크, 올로모우츠로 도망쳤다. 평범한 군 생활을 추구하면서 육군 보병으로 복무했지만 정치에 개입하는 것을 거절했다. 멕시코의 막시밀리아노 1세 황제는 루트비히 빅토어 대공이 브라질의 페드루 2세 황제의 딸인 이자베우 두 브라질 황태녀와 결혼하려는 계획을 세웠지만 루트비히 빅토어 대공은 이를 거절했다.
그는 평생 결혼하지 않았고 독신으로 살았다. 동성애자였기 때문에 오스트리아-헝가리 제국 황실에서 스캔들을 일으킨 경우가 많았으며 나중에 빈 궁정에서 추방당하고 만다. 그의 어머니였던 조피 대공비는 루트비히 빅토어 대공이 엘리자베트 폰 외스터라이히웅가른 황후의 여동생이었던 조피 샤를로테 바이에른 공작부인(Sophie Charlotte)과 결혼하려는 계획을 추진했지만 무산되고 만다.
빈 궁정에서 추방당한 이후에는 잘츠부르크 인근에 위치한 발스지첸하임(Wals-Siezenheim)에 위치한 클레스하임 궁전(Klessheim)에 거주했다. 1919년 1월 18일 클레스하임 궁전에서 사망했으며 그의 시신은 지첸하임 공동묘지에 안치되었다.