Народився 1884 року в містечку Ротлуф поблизу Хемніца (нині знаходиться у складі Хемніца)
1901 року познайомився і подружився з Еріхом Геккелем. 1905 року вступає до Вищої технічної школи в Дрездені. 7 червня разом з Фріцем Блейлем, Ернстом Людвігом Кірхнером і Геккелем засновує арт-гурт «Міст» (нім.Brücke) 1906 року запрошує в «Міст» Еміля Нольде, в Гамбурзі знайомиться зі Шифлером і Шапіре. У 1907–1912 роках здійснює літні поїздки в Дангаст, де багато малює.
1911 року подорожує в Норвегію, в вже 1912 року переїжджає до Берліна, знайомиться з Ліонелем Фейнінгером, а також бере участь у виставці «Зондербунд» в Кельні. Мандрує в Італію, Париж і Далмацію. 1913 — розпад групи «Міст»
В 1933 році був змушений подати у відставку. Його роботи залишалися в музеях аж до Олімпійських ігор 1936, під час яких в галереї ім. Фердинанда Меллера (Ferdinand Möller Galerie) були продемонстровані 70 його акварелей. У тому ж році він виставлявся в Галереї Вестерман (Westermann Gallery) у Нью-Йорку. Навесні 1937 року ще 40 акварелей були виставлені у Берліні, в галереї ім. Карла Буххольца.
Але вже у липні 1937 року 25 його картин, 24 рисунки і 2 акварелі опиняються у Мюнхені, на виставці «дегенеративного мистецтва». У результаті розгорнутої нацистами кампанії по боротьбі з художнім авангардом до 1938 року з німецьких музеїв було вилучено 608 творів Шмідта-Ротлуфа. У той же час, як і Ернст Барлах або Еміль Нольде, він продовжував виставляти деякі свої роботи в рамках так званих «Виробничих виставок», що проходили під заступництвом Німецького робітничого фронту.
А 1941 року йому заборонили малювати, а також звільнили з Канцелярії у справах образотворчих мистецтв (Reichskammer der bildenden Künste). В 1943 році бомбардуваннями зруйновано робоче ательє художника.
1953 — виставка, організована товариством Kestnergesellschaft в Ганновері.
1954 — до 70-річчя Шмідта-Ротлуфа були організовані виставки в Кілі, Нюрнберзі, Гамбурзі. Аналогічні ретроперспективні виставки пройшли і в 1964 та 1974 і були приурочені відповідно до 80- і 90-річного ювілеїв.
1964 — за пропозицією Шмідта-Ротлуфа в Берліні засновується музей групи «Міст»