Гораздо более серьезные последствия имели любовные приключения Пёнтковского с другой обитательницей острова. Доктор О'Мера в своих записках со Святой Елены в заметке от 9 сентября 1816 года рассказывает о скандале, который разыгрался, когда Пёнтковский вместе с сыном Лас Касеса, Эммануилом, выбрались в город. В соответствии с описанием поляка (наверняка прикрашенным в соответствии с обычаем нашего героя), они переговорили с российским и французским комиссарами, после чего отправились с визитом к молоденькой мисс Кнайп, называемой "Розовый бутон" по причине необычной свежести кожи. По пути они заметили, что какой-то поручик следит за каждым их шагом и подслушивает их разговоры (по приказу начальника полиции острова, Рида). В то время, как они беседовали с девушкой, адъютант Рида забрал их лошадей, после чего им сообщили, что их слуга пьян, в связи с чем, если они немедленно не покинут город, пьяницу, в соответствии с законом, арестуют. Лас Касес – как рассказывал далее Пёнтковский – сохранил хладнокровие и потребовал передать им приказ в письменном виде, зато сам он сдержаться не смог и заявил англичанам, что отходит шпицрутеном всякого, кто попробует с этого момента коснуться их лошадей.
О'Мера говорил по данному вопросу с Ридом (заметка от 10.09.1816), и тот заверил, что Пёнтковский лжет. Правильно, он дал приказ поручику Суини следить за ними, только никаких оскорблений не имело места, а слуга был настолько пьян, что даже не мог удержаться в седле. Что касается лошадей французов, то его адъютант присмотрел за ними из обычной вежливости. Когда О'Мера сообщил Наполеону о событии вместе с типично английскими объяснениями Рида, император рассвирепел и провозгласил длинную тираду на тему коварных оскорблений, из-за которых пребывание французов в городе становится невыносимы, поскольку англичане не отважатся выпустить формальный приказ, запрещающий посещать Джеймстаун (заметка от 12.09.1816).
Только все это было мелочами по сравнению со следующей аферой. Все началось со ссоры на скользкие темы (одной из таких тем были галантные французы) между женами двух британских офицеров: красивой миссис Негл и уродливой супругой мистера Янгхасбенда, при чем вторая усомнилась в добродетелях первой – имелась в виду добродетель супружеской верности. Дело попало в суд, который приговорил Янгхасбендов заплатить 250 фунтов штрафа, но семейство Негла было столь скомпрометировано, что муж и жена были вынуждены покинуть остров. Тогда в свите императора возникла идея переслать через капитана Негла в Европу письмо с описанием кошмарных условий, в которых проживает император.
Пёнтковский, постоянно мечтающий о секретных дипломатических миссиях, только и ожидал подобной оказии и тут же взялся посредничать. Вот только англичанин не проявил того благородства, которым отличались немногочисленные британские офицеры, доставлявшие императору секретные посылки из Европы (в том числе, ценные семейные драгоценности) и тут же выдал "заговор" губернатору.
Следствие, проведенное по приказу губернатора, во всем обвинило только Пёнтковского, поскольку французы от всего дела отстранились. К всеобщему изумлению, известный своей никчемностью Лоув наказал виноватого… одноразовым запретом участия в танцах в Джеймстауне. Только мягкость эта была чисто внешней. Лоув мог хвастаться ею, прекрасно зная, что судьба поляка уже предрешена – в начале октября 1816 года из Лондона поступил приказ Батхурста, отзывающий со Святой Елены нескольких членов свиты императора, в том числе и Пёнтковского, что было еще одним камушком в мозаике британских репрессий по отношению к "богу войны".
И подумать только, что французские историки называли "английским шпионом" человека, рвущегося избить англичан шпицрутеном, и которого англичане, после того, как этот человек разозлил их окончательно, выбросили с острова.
Перед выездом Наполеон повысил Пёнтковского от поручика до командира эскадрона, он получил письменное перечисление своих заслуг, небольшую премию (50 луидоров), немного сувениров от придворных (например, от мадам Бертран поляк получил золотую цепочку, а от Гурго – шкатулку для чая) и рекомендательное письмо от Бертрана к императорскому семейству, в котором было выражено признание поведением нашего героя на острове, а также просьба помочь и выплатить ему содержание. Только даже этот документ не изменил мнения французских историков. Они весьма остроумно смазали его значение, утверждая, будто Пёнтковский силой выдавил это письмо от маршала двора. При этом сам собой возникает вопрос: почему же Гурго, по мнению все тех же историков, не любящий поляка, ни словом не упомянул в своих мемуарах о каком-либо принуждении, зато написал, что это рекомендательное письмо "утешило несчастного поляка" [Письмо подействовало в будущем – после смерти Наполеона Пёнтковский получил от исполнителей завещания императора пожизненное содержание в размере 4 тысяч франков].