В 1767 году, путешествуя по Волге, императрица останавливалась в имении отца Ермолова и приказала взять 13-летнего Александра в Петербург ко двору. Ермолов воспитывался у Потемкина, и 17 лет спустя, в 1785 году, стал фаворитом Екатерины. По воспоминаниям современников, Ермолов был высок ростом, красив, но неразговорчив и честен до простоты.

В отличие от других любимцев правительницы, он не пытался обогатиться за счет привилегированного положения. Зато искренне хотел помочь просителям, если те были людьми достойными, покровительствовал Гавриилу Державину и открыто боролся с несправедливостью. Зная о его жажде справедливости, к Ермолову обратился крымский хан Сахиб II Герай. Ранее он заключил с Россией союз, передав владения в Крыму в обмен на финансовую помощь. Однако деньги, которыми ведал Потемкин, не первый год задерживались. Александр Петрович тут же пообещал разобраться, куда делось вознаграждение, и подключил связи, а при дворе поползли слухи, что Григорий Александрович его попросту украл и вскоре попадет в опалу. Ермолов рассказал обо всем Екатерине II, а та действительно высказала недовольство Потемкину. Однако Григорий Александрович категорично поставил императрицу перед выбором между собой и молодым любовником. Так дело решилось в пользу давнего соратника.

Попавший в немилость уроженец Сергача моментально лишился поста фаворита и получил настойчивое «разрешение» на несколько лет уехать за границу. Летом 1786 года Александр Петрович забрал отступные и покинул императорский двор. Екатерина II с легкостью отпустила скучноватого кавалера. Позже Ермолов женился на Елизавете Голициной, уехал в Австрию, купил богатое поместье Фросдорф, где и скончался в 82 года.