По этническому происхождению — пуштун из клана попалзай племени дуррани[5]. Сражался против советских войск во время войны в Афганистане[6][3]. В 1994 году помогал Омару основать Талибан. Гани, также известный как Абу Хафс Неджда, организовывал тренировочные лагеря и планировал нападения на племенных вождей и иностранцев[7].
Во время первого правления талибов (1996—2001) занимал различные посты, в том числе был правителем Герата и провинции Нимроз[8][9], и командиром военного корпуса в Западном Афганистане[3]. Государственный департамент США рассматривал его как заместителя главы Генштаба и командира кабульского военного корпуса[10]. Интерпол считал его заместителем министра обороны[2].
8 февраля 2010 года был захвачен в плен пакистанской разведкой[11].
21 сентября 2013 года досрочно отпущен из пакистанской тюрьмы по просьбе правительства Афганистана[12].
15 августа 2021 года после успешного наступления движения «Талибан» на правительственные силы Афганистана, правительство страны пало и президент Ашраф Гани бежал из страны, контроль над которой перешёл к Абдул Гани Барадару[13].
17 августа 2021 года Барадар вернулся в Афганистан, впервые после падения первого правительства Талибана в 2001 году[14].
С 7 сентября 2021 года — исполняющий обязанности вице-премьер-министра Исламского Эмирата Афганистан[15].