이후 소련 육군 고급공수지휘학교를 거쳐 소련 합동군사참모대학교를 졸업한 그는 1928년 투하체프스키를 이어 소련군 총참모장에 올랐다. 그는 소련 군사정보국 정보차장보 직위를 잠시 지낸 것 이외에는 정치에 별로 관심이 없었기 때문에, 스탈린의 의심을 받지 않았고, 1938년에 붉은 군대의 고위 장교들이 다수 체포 처형되었던 대숙청도 무사히 넘겼다.
스탈린은 샤포시니코프를 매우 신임했고, 그의 저서인 《군의 두뇌》(Мозг армии)를 항상 자기 책상에 놓고 있었다. 1940년 샤포시니코프는 원수로 승진해서 다시 한번 총참모장 자리를 맡았다. 이후 겨울전쟁의 참패로 사임했지만, 1941년 바르바로사 작전 이후, 주코프가 레닌그라드 방면으로 전출되자 그를 이어 세 번째로 총참모장을 맡았다. 1942년 건강 문제 때문에 사임하고, 작전 지도에서 은퇴 후 참모학교의 교장을 지냈다. 2차 대전이 아직 종전되기 전이던 1945년1월 23일을 기하여 소련 육군 원수 계급으로 예편하였고 두 달 후 병사하였다.
