С началом 70-х годов влияние Шувалова на императора начало заметно уменьшаться, и в 1874 году он получил отставку. Поводом для нее стало желание Шувалова занять какой-либо видный дипломатический пост. Сказано это было несерьезно, но государь воспользовался моментом и назначил графа чрезвычайным и полномочным послом в Лондон. Выбор для Шувалова именно Англии был не случайным. Еще в 1873 году благодаря усилиям графа была решена весьма деликатная проблема улаживания дипломатических трудностей в связи с продвижением России в Среднюю Азию, и Петр Андреевич удачно проявил себя во взаимоотношениях с английским двором. Император, вероятно, надеялся, что на этом посту граф сумеет активно и плодотворно действовать в интересах России. Но в целом дипломатическая деятельность Шувалова, по оценкам современников, была неудачной. Говорили, что он преувеличивал опасность вооруженного конфликта с Англией и возможность успешного соглашения с ней, чем способствовал затягиванию русско-турецкой войны 1877–1878 годов. В марте 1877 года он подписал Лондонский протокол великих держав с требованиями к Турции, а в 1879 году Шувалов фактически возглавил русскую делегацию на Берлинском конгрессе. Уступки, сделанные на ней русской дипломатией, были приписаны неудачным действиям лично Шувалова. Император оценил работу Петра Андреевича словами «печальные результаты», а пресса наградила графа весьма нелестными эпитетами. Справедливости ради отметим, что его коллеги по конгрессу и иностранные дипломаты оценили деятельность Шувалова совершенно иначе. Они единодушно отмечали высокий профессионализм, дипломатические способности и работоспособность графа. Но большинство российских политиков не понимали, что в данной ситуации уступки со стороны русской дипломатии были неизбежны; Шувалову же удалось отстоять и сохранить то, что возможно было отстоять и сохранить, проявив мужество, выдержку и упорство. В 1879 году он покидает пост в Лондоне и возвращается в столицу. В дальнейшем он не занимал никаких высоких должностей.
Несправедливая критика соотечественников заставила графа летом 1880 года составить записку, в которой он объяснял свои действия на Берлинском конгрессе.
В Петербурге Петр Андреевич присутствует на заседаниях Государственного совета, участвует в работе Департамента законов, но от предложенного ему поста председателя департамента он отказывается. В 1884 году он назначается членом Особой комиссии для составления проекта местного управления. К концу 80-х годов его участие в заседаниях все более приобретает символический характер. Основное время Шувалов проводит в своем поместье, где часто охотится.
Скончался граф 10 марта 1889 года. Причиной смерти стал нарыв в ухе, приведший к заражению крови и быстрой кончине.
Родоначальником рода Толстых был Андрей Харитонович Толстой – черниговский боярин, переселившийся в Москву во второй половине XV века и поступивший на службу к великому князю Василию Васильевичу. Толстой было его прозванием, данным ему, вероятно, по причине тучности. По преданию, род Андрея Харитоновича вел свое начало от Индроса, выехавшего из Литвы в 1353 году. При крещении Индрос получил имя Леонтий и в Чернигове стал боярином. Боярами были и два его сына – Константин (Литвинос) и Федор (Зимонтен).
В XVII веке виднейшими представителями рода Толстых стали Василий Иванович Толстой и его сын Андрей Васильевич, а первым графом в роду стал сын Андрея Васильевича – Петр, получивший этот титул в 1724 году. Судьба первого графа и его сына сложилась трагически. Петр Андреевич был сподвижником Петра Великого, который отозвался о нем, как об «очень способном человеке, но ведя с ним дело, надо держать за пазухой камень, чтобы выбить ему зубы, если он вздумает укусить». Петр Андреевич был ловким дипломатом – первым постоянным послом в Турции. Также он был президентом Коммерц-коллегии и членом Верховного тайного совета. Он был и главным следователем по делу царевича Алексея. Он достиг высот служебной карьеры благодаря уму и поразительной работоспособности, а вовсе не хитростью и коварством, кои приписывались ему многими современниками.
