Работа над «Пятнами» не входила в «Программу “великих дел на грядущее десятилетие”», составленную им в феврале 1968 года. Слишком много другого, более важного, по его мнению, В. В. Шульгин хотел осуществить в первую очередь — это воспоминания о Гражданской войне, об эмиграции, работа над многотомным историческим романом «Приключения князя Воронецкого» и др.
«Пятна» были предложены мною в мае 1970 года, когда В. В. Шульгин приехал в Ленинград для работы над циклом своих воспоминаний. Он не отверг их в принципе, но хотел приступить в первую очередь к воспоминаниям о гражданской войне, озаглавленным им «1917–1919» (Лица: Биографический альманах. Вып. 5. М.; СПб., 1994. С. 121–328). Они сложились в его голове задолго до нашей встречи. Поэтому вежливо, но твердо он отверг все мои доводы в пользу тюремных воспоминаний. И мы отодвинули их «на потом». Не спорить же мне было с девяностодвухлетним старцем! Но когда впереди обозначился конец работы над «1917–1919», подошел черед тюремной темы.
Оставаясь днем в одиночестве, Василий Витальевич пытался писать сам. К этому времени даже специальные очки не могли ему помочь. От длительного напряжения слезились глаза и начинала болеть голова. Тогда он стал работать «на ощупь». На темном фоне стола были хорошо видны белые листы раскрытой ученической тетради, по которым он водил школьной «вставочкой» с пером «уточка» или карандашом. За день он исписывал не более четырех-пяти страниц.
Просматривая вечерами написанное, я понял, что это не в полном смысле воспоминания, а скорее их подробный план-проспект. Поэтому было решено, что вечерами в будние дни он будет диктовать «1917–1919», по выходным — «Пятна». Когда же первая работа была закончена, мы целиком переключились на вторую и закончили ее в несколько дней.
Почему «Пятна»? Эти записки не являются в полном смысле воспоминаниями с последовательным изложением событий. В течение долгих двенадцати лет заключения время как бы застыло в четырех стенах камеры с «кормушкой» в двери. И отсчет его велся не по часам, дням, месяцам, годам, а по походу в тюремную поликлинику или в баню. Единственными светлыми пятнами в этом застывшем однообразии, в этой долгой камерной тьме были люди, их судьбы, характеры, поведение в неординарных условиях. Поэтому Василий Витальевич и назвал эти записки кратко, но точно — «Пятна».