До трех лет Сергей рос в доме отцовской матери Аграфены Панкратьевны Есениной, которая зарабатывала на жизнь, пуская к себе постояльцев. Молодая невестка (Татьяне на момент рождения Сергея было двадцать лет, а ее мужу – двадцать два) пришлась Аграфене Панкратьевне весьма кстати, ведь помимо обслуживания постояльцев у нее было много хлопот по хозяйству. Свекровь и невестка не ладили и в 1898 году распрощались. Оставив Сергея у своего отца, Федора Андреевича Титова, Татьяна подалась на заработки и даже одно время работала на кондитерской фабрике в Москве, но отношения с мужем она восстановила только в конце 1904 года. Федор Андреевич брал с дочери на содержание внука три рубля в месяц, что примерно соответствовало минимальному месячному заработку крестьянина – родство родством, а денежки по уговору. Знавал Федор Андреевич хорошие времена – гонял когда-то баржи по Волге и неплохо на этом зарабатывал, но одни баржи потонули, другие сгорели… Как говорится, «не жили хорошо, нечего и начинать».
Есенинское «Письмо деду», написанное в декабре 1924 года в Батуме, проникнуто такой же теплотой, как и «Письмо матери», выросшее из стихотворения в песню. А вот «Письма отцу» у Есенина нет, и вообще отец в его жизни фигурировал где-то на заднем плане. Ничего удивительного – родственные чувства начинают закладываться с раннего детства, а с отцом Сергей близко познакомился лишь в июле 1912 года, когда жил у него некоторое время по приезде в Москву, причем отношения между сыном и отцом складывались неровно. Можно сказать, что дед Федор заменил Сергею не только отца, но и мать, которая постоянно находилась где-то на заработках.