Родился в армянской семье[2]. В 840 году халиф Аббасидов назначил его вали Египта на замену Малика ибн Кайдара[англ.][3]. Позже халиф отправил его на должность командующего обороной пограничных областей халифата в Киликии для противостояния Византийской империи. Он был первым эмиромТарсуса, который осуществлял практически независимую политику в связи со снижением мощи центрального правительства[4], занимая этот пост в течение периода с 852—853 года до октября-ноября 862 года[5]. В этой должности Али предпринял несколько летних экспедиций за горы Тавра в Византийскую Анатолию в 851, 852, 853, 856, 859 и 860 годах. В частности в 856 году он присутствовал на процедуре обмена пленными[6].
В 862 году халиф назначил Али ибн Яхью вали Армянского эмирата и Азербайджана, но в следующем году он пал в бою с византийцами. Вместе с ним погибло 400 человек из возглавляемой им группы войск[2][7]. После гибели эмира МалатьиУмара эль-Акта в битве при Лалакаоне в сентябре, известие о смерти Али вызвало беспорядки среди населения Багдада, Самарры и других городов, которое было возмущено бессилием и пассивность правительства[8]. Сын Али Мухаммад позже также служил амиром Тарса с 871—872 по 872—873 или 873—874 года[5].
По словам арабского писателя и историка X века Аль-Масуди, репутация Али была столь высока, что он был среди тех прославленных мусульман, чьи портреты были выставлены в византийских церквях в знак признания их доблести[9].
There were Armenians, too, in the Muslim territories, serving the Caliphs, but converted to Islam, like the celebrated amir Ali al-Armani who died in 863, not long after he had been named governor of Armenia and Adharbaydjan
Hild Friedrich; Hellenkemper Hansgerd. Tabula Imperii Byzantini (нем.). — Wien: Verlag der Österreichischen Akademie der Wissenschaften, 1990. — Bd. 5: Kilikien und Isaurien. — 96 S. — (Denkschriften / Österreichische Akademie der Wissenschaften. Philosophisch-historische Klasse, 215). — ISBN 3-7001-1811-2.
Stern Samuel M. The Coins of Thamal and of Other Governors of Tarsus (англ.) // Journal of the American Oriental Society. — Washington: American Oriental Society, 1960. — Vol. 80, no. 3. — P. 217—225. — ISSN0003-0279. — doi:10.2307/596170.