3 산악 사단은 1939년폴란드 전역에 남부집단군 소속으로 참전하였으나 전역 종료 전에 서부 방벽 수비대로 돌려졌다. 1940년, 노르웨이 침공에 참가하여, 부동항 나르비크를 점령하기 위해 에두아르트 디틀 장군 지휘하에 139 산악 연대를 파견했다. 영국군은 급히 나르비크를 탈환하려고 했으나 노르웨이가 항복하는 바람에 포기하게 된다.
1941년, 3 산악 사단은 바르바로사 작전의 일환으로 소련의 북극지방을 점령하려는 은빛 여우 작전에 참가하기 이해 핀란드의 랩랜드로 이동했다. 그러나 무르만스크 점령은 실패했다. 3 산악 사단은 1941년 말에 재정비를 위해 독일로 철수했지만, 139 산악 보병 연대는 뒤에 남아 독립적으로 작전을 수행했다. 재정비 후 1942년에 3 산악 사단은 다시 노르에이에 예비대로 배치되었다. 거기서 * 동부 전선의 독일 북부집단군 소속이 되어 레닌그라드 근처에서 소련군과 싸웠다. 1942년 11월, 포위된 벨리키에 루키(Velikiye Luki) 정면에 투입되었고, 다시 스탈린그라드를 구원하는 작전에 투입되기도 했다. 이후 3 산악 사단은 계속 남쪽에서 싸웠고, 전선이 계속 후퇴하자 우크라이나, 헝가리, 슬로바키아를 지나 후퇴한 끝에 마침내 전쟁 말기 실레지아에서 소련군에 항복했다.