С. А. Усов был одним из самых близких друзей писателя А. Ф. Писемского. Свои произведения Писемский прочитывал у Усова и каждую написанную им новую главу отдавал на храпение Сергею Алексеевичу. Кроме того, Писемский пользовался и книгами из его библиотеки. А библиотека эта была богата произведениями русских и иностранных классиков, описаниями путешествий, специальными книгами по зоологии, орнитологии, естественной истории, ихтиологии, минералогии, трудами Ч. Дарвина, А. Брема, К. Ф. Рулье, Н. А. Северцова и т. д. Русские летописи и книги по истории составляли значительную часть этого собрания. После смерти С. А. Усова 900 книг из его библиотеки поступило в научную библиотеку Московского университета. Книги по искусству и фотографии были переданы Историческому музею.
В начале октября 1886 года здоровье С. А. Усова, когда-то прекрасного фехтовальщика и довольно крепкого благодаря неустанным физическим упражнениям человека, резко ухудшилось. В воскресенье, 26 октября, сначала утром, а потом вечером зашел навестить больного его друг и соратник профессор-зоолог М. А. Мензбир. «Он сидел в своей любимой позе на кресле под портретом К. Ф. Рулье и фотографиями друзей и семейных, и мы мирно беседовали о Рюисдале и различных заграничных картинных галереях, - вспоминал М. А. Мензбир. - После десяти я простился с Сергеем Алексеевичем, но еще с час оставался у него в доме и был последним из не принадлежащих к его семье лиц, с которыми он виделся во время болезни. А в половине пятого утра Сергей Алексеевич скончался от паралича сердца, не дожив нескольких месяцев до 60 лет». Похоронили его на Ваганьковском кладбище в Москве.
Другим обитателем дома С. М. Голицына был юрист, историк и философ, профессор, а затем почетный член Московского университета, один из лидеров либерально-западнического крыла в русском общественном движении середины прошлого века Б. Н. Чичерин.
