Он испытывал сильную симпатию к цветным и по разным случаям выступал в защиту их прав. Лиллиан Уолд вспоминает, что он часто приходил на митинги негров в «Поселении на Генри-стрит» и произнес трогательную речь на собрании в честь дня рождения доктора У.Э.Б. Дюбуа. В начале правления президента Вильсона он направил в адрес президента протест против сегрегации цветных служащих в правительственных учреждениях Вашингтона: «Прошу добавить мой голос к тем, кто выступает в защиту неотъемлемых прав цветных, таких же людей, как и мы, наделенных нашим общим Отцом теми же качествами, той же гордостью. Мы не имеем никакого права унижать их. Они не в ответе за то, что у них не такой, как у нас, цвет кожи. В отличие от многих представителей нашего населения, предки цветных прибыли в Соединенные Штаты не по своей воле, их привезли сюда грубой силой и в таких условиях, которые теперь, в двадцатом веке, тем более обязывают нас позаботиться о том, чтобы потомки свободных людей, привезенных сюда с их далекой родины и проданных здесь в рабство, удостоили человеческих прав, без пользования которыми никто не способен испытывать достоинство быть счастливым. Совершенно согласен с позицией сотрудников Национальной ассоциации по продвижению цветных, которые просили своих сограждан обратиться к Вам, м-р президент, как главе всего народа, куда цветные входят как неотъемлемая часть, в поддержку протеста, который Ассоциация направила Вам. Соответственно, я прошу Вас уделить должное внимание присланному протесту. Зная о Ваших благородстве и чувстве справедливости, не сомневаюсь в том, что Вы на него откликнетесь».
Независимо от того, жили они на Севере или на Юге, и независимо от их взглядов по другим вопросам, многие благородные люди понимали, что неграм необходимо предоставить некоторые привилегии в образовании, чтобы по крайней мере отчасти ликвидировать серьезное препятствие, мешавшее им жить. Хотя Шифф не был лидером в этом движении, его сторонники пользовались его глубоким сочувствием и получали от него финансовую поддержку.
В 1909 г. он, очевидно, много думал на эту тему и пришел к выводу, который фигурирует в сопроводительном письме к Освальду Г. Вилларду от 9 декабря 1909 г.: «Я уже некоторое время… думаю о том, как необходимо образование для цветных на Юге, и, сравнив свои наблюдения с мнением людей, которые хорошо разбираются в теме, я пришел к выводу, что должен урезать свою поддержку обычного общего образования в пользу тех школ, которые имеют целью начальное образование цветных детей. Их очень не хватает в местах проживания таких детей. Хотя я готов вносить свой вклад в поддержку любого достойного начинания, которое мне рекомендуют, если я недостаточно осведомлен о какой-либо проблеме, перед тем, как оказывать помощь, я, как правило, справляюсь о ней у людей, достойных доверия. Поэтому, прежде чем я решу, готов ли я помочь школе в Манассасе, я должен понять, каковы ее цели и задачи.
Постараюсь навести справки как можно скорее. Пожалуйста, передайте м-ру Хиллу, чтобы он проявил немного терпения. Если его школа действительно такова, как Вы пишете… он в самое ближайшее время узнает мое решение, скорее всего, благоприятное – при условии, что его ожидания не будут завышенными».
В ноябре 1910 г. он писал д-ру Букеру Т. Вашингтону: «С огромной радостью воспринял я Ваши слова о том, что белое население Юга все лучше понимает и все серьезнее относится к своему долгу помогать цветным, живущим рядом с ними. Кроме того, я очень рад заверить Вас, что никто больше Вас не способствовал и не способствует тому, чтобы приблизить время, когда распространится мнение, что все мы «сыновья одного Отца», какого бы цвета ни была наша кожа или какую бы религию мы ни исповедовали».
В 1909 г. Шифф, успевший достаточно хорошо узнать Букера Вашингтона, сделал его своим поверенным для раздачи помощи в Индустриальном педагогическом институте Таскиги и других подобных ему учебных заведениях на Юге. На следующий год он поручил Вашингтону провести инспекцию девятнадцати учреждений, которым последний передавал небольшие суммы, пожертвованные Шиффом. Очевидно, его пожертвования носили постоянный характер; к 1915 г. их сумма увеличилась в четыре раза.
В 1915 г., вскоре после смерти Вашингтона, Шифф писал Уильяму Хольтцклоу, директору Индустриального института в Ютике (Миссисипи): «После того как Ваше письмо было написано, скончался наш добрый и достойный друг, д-р Букер Т. Вашингтон, что стало для меня большим ударом. Мне кажется, что Америка потеряла одного из величайших своих людей, который всю жизнь служил и приносил пользу не только представителям своей расы, но и белому населению Соединенных Штатов».
