Город Нью-Йорк очень много значил для Шиффа. Здесь он прожил более пятидесяти лет; здесь он достиг большого коммерческого успеха; здесь он женился и у него появились дети. Его улицы, парки, школы и библиотеки, колледжи и университеты, музеи и картинные галереи, благотворительные учреждения, его люди – все было дорого ему. В духе многих великих национальных и международных интересов, Нью-Йорк всегда занимал первое место в его заботах и его сердце.
Джордж А. Макейнени пишет: едва ли существовало хоть одно достойное общественное дело, в котором Шифф так или иначе не принимал бы участия. Через Городской клуб, членом которого он был, а также через другие организации и движения он старался действовать независимо и беспристрастно, оказывая помощь на выборах муниципальных органов власти. Р. Фултон Каттинг вспоминает: «Я часто советовался с ним по филантропическим и гражданским вопросам и всегда находил его сторонником практического воплощения идеалов. Хорошо помню один случай, когда я нанес ему визит во время муниципальной избирательной кампании. Я не был уверен в исходе выборов. Он сразу развеял мои опасения, и я вышел от него в большой степени подбодренный. Не то чтобы он делал какие-то прогнозы относительно исхода кампании, но благодаря своему кругозору он был способен мыслить шире и видел далеко за пределами непосредственной, временной победы. Его советы дышали стремлением к справедливости во всем, безоговорочной поддержкой высоких стандартов гражданского долга. Мысли о нем и сейчас придают мне силы; я помню, как он всегда меня вдохновлял. Во многих других случаях его ценное сотрудничество в различных движениях по улучшению общественных и гражданских дел укрепляло мою веру и способствовало нашим успехам».
Еще в 1893 г. Шифф стал членом комитета муниципального управления в Городском клубе, а в 1902 г., считая, что клуб выходит за пределы своих полномочий, занимаясь государственной политикой, он заявлял, что клубу следует посвятить себя всецело делам города и издать подзаконный акт, в соответствии с которым исключить государственную политику из сферы своей деятельности.
В 1903 г. его уговаривали выдвинуть свою кандидатуру в олдермены, но он отказался из-за своего ухудшающегося слуха, который помешал бы ему принимать полноценное участие в дискуссиях. «Если бы не это, – писал он, – я считал бы своим долгом стать олдерменом и с радостью стал бы им». Конечно, готовность такого занятого человека тратить большое количество времени на общественную работу свидетельствует о его высокой сознательности и благодарности к принявшему его городу. В 1904 г. его выдвинули кандидатом в мэры Нью-Йорка; по этому случаю в «Таймс» появилась заметка, указывающая на то, какое положение занимал Шифф в штате Нью-Йорк:
«13 декабря 1904 г.
Видные республиканцы города Нью-Йорк выразили желание, чтобы кандидатом в мэры от республиканцев на следующих выборах стал Джейкоб Г. Шифф. Мистер Шифф – один из самых известных бизнесменов города, обладающий выдающимися руководящими способностями. Он отличается высокой гражданственностью и направляет свои средства и усилия на благо города. Его имя можно встретить всюду, где возникает движение в защиту общественной справедливости, где борются за удобство и процветание людей. Если он согласится стать кандидатом на пост мэра от Республиканской партии, его изберут подавляющим большинством, а при его способности к управлению срок его полномочий станет беспрецедентным в достижении общего блага к выгоде всего города».
В 1905 г. Шиффа вновь называли человеком, способным победить представителя демократов на очередных муниципальных выборах.
