Народився 3 листопада 1908 в Неаполі. Його батько був одним із засновників Християнсько-демократичної партії в його рідному місті, в яку пізніше вступив і Леоне, ставши прихильником її правого крила.
В 1929 він здобув вищу юридичну освіту і зайнявся викладацькою діяльністю, а в 1946 у став одним з членом Установчих зборів Італії й увійшов до складу комісії з розробки конституції Італії. 1948 року Леоне був обраний до Палату депутатів, в 1950—1955 — заступник голови, з 1955 а голова палати депутатів. На цій посаді Джованні Леоне залишався до 1963, поки не був обраний прем'єр-міністром Італії. Цю посаду він обіймав недовго, з 21 червня по 4 грудня1963.
Після кількох спроб зайняти пост президента республіки, Леоне був обраний в 1967 у довічним сенатором. В 1968 він знову очолив Раду Міністрів, але знову його термін виявився недовгим — з 24 червня по 12 грудня.
У листопаді 1975 відвідав з офіційним візитом СРСР.
Будучи президентом Італійської Республіки, Джованні Леоне виявився залучений в скандал: відвідуючи Неаполь під час епідемії холери, він потиснув руку одному з хворих, а іншою рукою за спиною показав «ріжки». Цей жест, відображений фотографами на плівку, був витлумачений як образу хворих, і довгий час висвітлювався в ЗМІ.
Але та пригода виявилася не такою гучною, як скандал, що розгорівся в 1978, коли американська компанія «Lockheed Corporation» підкупила Християнсько-демократичну партію Італії і тодішнє вище керівництво країни, в тому числі прем'єра і президента, з метою покупки італійськими ВПС літаків C-130 Hercules. У підсумку ця махінація була розкрита, і 15 червня1978 а Джованні Леоне був змушений піти у відставку з поста Президента Італійської Республіки
