Салтыков стал тайным любовником цесаревны Екатерины Алексеевны, недавно вышедшей замуж за наследника русского престола Петра Федоровича, в 1752 году. Связь длилась два года. И в 1754-м, через две недели после рождения великого князя Павла, Салтыков был спешно отправлен посланником в далекую Швецию.
Кстати, ходили слухи, что именно Салтыков был отцом императора Павла I. Петр III даже писал: «Бог знает, откуда моя жена берет свою беременность, я не слишком-то знаю, мой ли это ребенок и должен ли я принять его на свой счет». И Екатерина II, желая дискредитировать своего сына, этого не опровергала.
Современники говорили, что Салтыков, удаленный от двора, по отношению к своей высокой покровительнице и любовнице вел себя недостойно, распуская слухи, что Екатерина навязывала себя ему, вешалась на шею. Видимо, до будущей императрицы доходили сплетни, поэтому после ее воцарения Салтыков так и остался при иностранных дворах на всю жизнь.