Президент Рузвельт назначил главным представителем на эту конференцию Генри Уайта, одного из ветеранов дипломатического корпуса, в то время посла во Франции, и поручил ему на конференции добиться соблюдения гарантий религиозной и расовой толерантности в Марокко. В письме к Уайту Рут писал: «Мистер Джейкоб Г. Шифф предоставил мне доказательства существующих ограничений, наложенных на марокканских евреев, живущих не в портовых городах; данные ограничения кажутся в наши дни совершенно невероятными и вступают в резкое противоречие с любой здравомыслящей теорией отношений между правящим и управляемым классами. Если бы американский гражданин, еврей или нееврей, вынужден был переносить лишь десятую часть таких гонений, как в Марокко, нашему правительству невозможно было бы закрыть глаза на их существование; и равно тяжело сейчас игнорировать их, когда нас призвали участвовать, вместе с Марокко и другими державами, в разработке планов по улучшению отношений султаната со странами, с которыми он граничит по условиям договора. Призывы к благоразумию и доброй воле с обеих сторон направлены на то, чтобы ограничить дух нетерпимости и предотвратить рост антагонизма между мусульманами и немусульманами. Судя по всему, великие державы заинтересованы в достижении равенства для их граждан и национальных интересов в Марокко, а не в подчеркивании… классовых ограничений, которые тяготят туземцев. Последнее всего лишь раздует бытующие предрассудки и укрепит дух нетерпимости к иностранцам. Более того, очевидно, что такие ограничения действуют с целью уменьшения поля коммерческого взаимодействия, поскольку значительная часть населения Марокко лишается… равных возможностей, которые мы так стремимся установить, и перекрывает каналы обмена и возможности потребления и поставок».
Уайт поднял данный вопрос на конференции и потребовал, чтобы с марокканскими евреями обращались справедливо. Послы и министры всех великих держав, даже России, согласились с ним, и его резолюцию делегаты приняли единогласно: «…чтобы его светлость султан продолжил добрые дела, начатые его отцом и поддерживаемые им самим относительно его подданных-евреев, и чтобы… его правительство не упускало случая напомнить своим функционерам: по мнению султана, с евреями его империи и прочими иноверцами следует обращаться на основе справедливости и равенства».
Далее в официальном протоколе зафиксировано, что «мистер Уайт поблагодарил делегатов от великих держав за поддержку, которая всецело соответствует взглядам правительства Соединенных Штатов и личным чувствам президента Рузвельта».
Растущие трудности, окружавшие евреев в России и других странах, и большая ответственность, которая ложилась на плечи немногих ответственных лиц, вынудила Шиффа и других всерьез задуматься о создании в Соединенных Штатах организации, которая отвечала бы их запросам. Так, например, во время кишиневского погрома в 1903 г. сбор крупной суммы денег в помощь пострадавшим проводился по личной инициативе Шиффа, Оскара Штрауса и Сайруса Л. Салзбергера.
Начиная примерно с 1901 г. представители различных сфер регулярно встречались в Нью-Йорке каждые две недели для переговоров и общественно значимых поступков. На одном из таких собраний Шифф заявил, что необходимо создать организацию, которая помогала бы в критических случаях евреям из Восточной Европы, потому что, как он подчеркнул, он больше не взвалит на свои плечи такую огромную ответственность, какую он добровольно принял, собирая деньги пострадавшим от кишиневского погрома. Поэтому в 1906 г., когда зародилась организация, которая позже получила название Американского еврейского комитета, Шифф участвовал в ее создании и стал одним из самых горячих ее сторонников, хотя вначале он отказывался входить в состав исполнительного комитета, потому что не желал взваливать на себя новые обязательства. В письме к Паулю Натану 27 марта 1907 г. он особо оговаривал, что «комитет в значительной степени был образован по моему предложению, чтобы мне и моим друзьям не приходилось нести на себе всю ответственность в серьезных и важных проблемах, как часто бывало в недавние годы». Когда один знакомый в 1910 г. призывал Шиффа поговорить с президентом о российском паспортном вопросе, он написал: «По тщательном размышлении я считаю, что создастся нежелательный прецедент, если отдельные члены исполкома Американского еврейского комитета будут искать встречи с президентом, что в будущем может поставить нас в неудобное положение. Поэтому я отказываюсь лично обсуждать с президентом паспортный вопрос».
Он согласился вступить в исполнительный комитет и принимал активное и заинтересованное участие в его деятельности, на протяжении долгого времени занимая пост председателя финансовой комиссии.