오사카 부립 이치오카 중학교(현: 오사카 부립 이치오카 고등학교)를 졸업하고 와세다 대학에 진학, 재학 당시 도쿄 6대학 리그의 모든 경기에 출전하였고 4학년 때는 주장을 맡았다. 리그 통산 92경기에 출전하여 341타수 94안타, 타율 2할 7푼 6리, 홈런 2개, 38타점을 기록했는데 특히 74득점은 2008년에 우에모토 히로키가 83득점으로 기록이 경신될 때까지의 리그 기록이었다.
1950년 난카이 호크스에 입단, 이듬해 1951년에는 리그 2위에 해당되는 타율 3할 1푼 5리를 기록하면서 그 해에 퍼시픽 리그 신인왕에 선정됐다.[1][2] 1953년에도 리그 5위에 해당되는 타율 3할 3리를 남기는 등의 활약을 보였는데 공을 잘 구별할 정도의 볼넷을 많이 걸러내어 높은 출루율을 자랑했다. 1951년부터 1953년까지 3년 연속 30도루 이상을 기록하는 등의 빠른 발로 리그 최다 3루타를 4차례나 차지했다. 수비력도 높았고 이이다 도쿠지, 기즈카 주스케 등과 함께 ‘백만 달러의 내야진’을 형성하고 1번 타자로서 팀을 크게 기여했다.
1959년 끝으로 10년 간의 현역 생활을 은퇴했고 이듬해 1960년부터는 팀의 수석 코치로 발탁하여 쓰루오카 가즈토 감독을 곁에서 지원해주는 참모 역할을 했다. 1962년에는 시즌 도중 휴양 생활에 의한 쓰루오카 감독을 대신해서 감독 대행을 맡았다.[3] 야구계에서의 탁월한 이론가로 알려지면서 현역 시절의 노무라 가쓰야의 이해당사자였다고 한다. 그 이론가 같은 모습에 눈독 들인 한큐 브레이브스 감독이었던 니시모토 유키오도 가게야마를 주목하여 프런트인 야가타 가쓰히로(가게야마와는 당구를 같이 하던 동료)를 통해 수석 코치로의 초빙을 계획했고 가게야마도 “니시모토의 야구에는 흥미가 있다”라고 적극적인 모습을 보였지만 후술의 난카이 감독 취임에는 실현되지 못했다.[4] 가게야마는 1965년 오프, 수석 코치의 자리를 내려놓겠다고 일단 구단에 사직서를 제출했다.
1965년 11월 13일에 쓰루오카 감독의 용퇴에 의해서 난카이의 차기 감독으로 부임했지만 4일 후인 17일에 급성 부신피질기능부전으로 사망했다(향년 38세). 가게야마의 사망으로 쓰루오카는 용퇴를 철회해 1968년까지 지휘를 맡았다.
