В 1976 году Грегори опубликовал книгу «Папа: личные воспоминания». Он обвинил в своей «болезни» родителей, которые мало общались с ним (это правда: его постоянно кому-нибудь подбрасывали). Мать «не любила его так, как старшего брата Патрика, и не обладала сильным материнским инстинктом». Еще больше виноват отец — «чрезвычайно мужественный, но постоянно сомневающийся в своей мужественности и не верящий в нее; он так же ведет себя по отношению к сыновьям, сомневается в том, что они мужчины, и постоянно этим обеспокоен». В интервью «Вашингтон пост» в 1987 году Грегори объяснял, что «вся его жизнь ушла на то, чтобы оправдывать завышенные ожидания отца». Он утверждал, что отец с десяти лет заставлял его пить спиртное и убивать животных, упомянул об эпизоде, когда отец привел его смотреть на петушиный бой: он был в ужасе и восторг отца его шокировал. (Похожий эпизод вспоминали Тилли Арнольд и Бад Парди — они не критиковали Хемингуэя, а, напротив, восхищались его «спортивным духом»: в Кетчуме ставили капканы на сорок, Хемингуэй, узнав, что им потом сворачивают шею, сказал, что лучше использовать птиц для развлечения: мальчики будут освобождать их, подбрасывать в воздух и убивать выстрелом.) Два старших сына подобных претензий к отцу не высказывали, но они вообще говорили о нем уклончиво: выносить сор из избы у Хемингуэев не полагалось.
Проницательный читатель не забыл, как Эрнест и Полина мечтали о дочке и были разочарованы рождением Грегори, и как самого Эрнеста мать принуждала изображать «доченьку». Линн усматривает тут прямую связь с трансвестизмом Грегори. Сам Грегори писал: «Мой отец ужасно хотел дочь. Для моей матери мое рождение означало, что она, а также я упустили возможность осчастливить этого эгоиста». Считать ли это совпадением? Да кто же может однозначно ответить на такой вопрос?
Марта вернулась с Кариб с материалом для романа; по словам Грегори, отец сказал ему: «Дадим Марте шанс — она этого заслуживает», сам же писать не хотел или не мог. В сентябре дети уехали в школу, Марта отправилась навестить Элеонору Рузвельт; в одиночестве Хемингуэй как обычно сдал, пил так, что даже видавший виды экипаж «Пилар» беспокоился о его здоровье. Утверждая, что счастлив в обществе «простых людей», он тосковал по старым друзьям-интеллектуалам. Один такой к нему приехал — Густаво Дуран, работавший в Музее современного искусства. Хемингуэй помогал ему деньгами, хлопотал, чтобы пристроить консультантом в Голливуд, но не вышло из-за коммунистического прошлого Дурана. Американское гражданство, однако, Дуран в 1942-м получил и в ноябре приехал на Кубу и поселился в «Ла Вихии». Его старосветские манеры всех очаровали, Брэйден и Бриггс были в восторге. Хемингуэй был уверен, что друг примет участие в деятельности «Плутовской фабрики» и операции «Френдлесс», но, к его изумлению, Дуран отказался: затеи агента 08 показались ему «ребяческими», отчеты осведомителей он назвал чепухой.
Приехала жена Дурана Бонита, несколько дней все было спокойно, но вернулась Марта и высказала недовольство: она не желала, чтобы в доме жили посторонние. Начались конфликты, о которых потом рассказывал Дюран, в основном из-за мелочей: пропал кот, его искала вся Гавана, Хемингуэй рассказал Боните, как однажды подстрелил собаку, убившую кота, так, чтобы та трое суток умирала в мучениях; если это была шутка, то Бонита ее не поняла и ударилась в слезы, муж поругался с хозяином. В конце концов гости съехали в отель и встречались с Хемингуэями только на ужинах в посольстве: в один из таких вечеров Хемингуэй набросился на Дурана, назвав его «трусом и слабаком», который «не хочет бить фашистов».
Вероятно, Дуран многое исказил или придумал, но другие знакомые, например Менокаль, подтверждали, что поведение агента 08 осенью — зимой 1942 года стало невыносимым: он публично скандалил и даже дрался с женой, все время проводил на петушиных боях и в барах («Пилар» выходила в море без него), где рассказывал байки о своих шпионских и воинских подвигах; домой его уводили под руки, Менокаль плакал от того, что человек, которого он считал вторым отцом, выставляет себя на посмешище. От агентов и экипажа «Пилар» Хемингуэй требовал беспрекословного подчинения, а за глаза смеялся над ними, в особенности над Гестом, утверждая, что тот прыгнет из самолета без парашюта, если он, Папа, ему прикажет. Лишь однажды наступила передышка: узнав, что знакомый умер от рака печени, Папа призадумался, отказался от алкоголя и стал милым и обаятельным. Но это длилось лишь несколько дней.