В личном плане Браун в Бостоне имел успех. Бостонские интеллектуалы приостанавливали свои обычные критические способности, когда дело касалось его, и в конечном итоге это приостановление должно было иметь серьезные последствия. Но хотя они идеализировали его и принимали в своих домах, они не собрали для него много денег. После того как провалилась попытка получить для него 100 000 долларов по решению законодательного собрания Массачусетса, ему пришлось довольствоваться небольшими подарками - немногим лучше подачек - и условным обещанием Джорджа Стернса выделить 7 000 долларов на пропитание ста добровольцев-регуляров, если возникнет необходимость призвать это число на службу в Канзас.10 По мере того как поступали ограниченные пожертвования, он все чаще чувствовал себя вынужденным вернуться на территорию и заняться прямыми действиями, которые, как предполагалось, были его сильной стороной. Поэтому к июню он отправился на запад, в Айову, а в ноябре снова перебрался в Канзас.
Канзас в ноябре 1857 года сильно отличался от территории, которую он покинул в октябре 1856 года. Роберт Дж. Уокер сменил Джона В. Гири на посту губернатора, боевые действия утихли, а сторонники свободы получили большинство в новом законодательном собрании благодаря решительным действиям Уокера по уничтожению фальсифицированных результатов выборов. Партия против рабства ничего не выиграла от возобновления пограничных войн. Они с неприязнью вспоминали о том, что Браун сделал в Поттаватоми (чего не знали бостонцы); они считали его нарушителем спокойствия; и они явно не приветствовали его возвращение. Браун понял, что Канзас - не место для него, что его карьера канзасского партизана подошла к концу, и покинул территорию менее чем через две недели, вернувшись на свою базу в Таборе, штат Айова.11
В этот момент Браун столкнулся с трудным и судьбоносным решением. Он должен был либо отказаться от роли борца с рабством, признав очередной провал, либо переосмыслить свою миссию. Свой ответ он дал в Таборе в конце ноября или начале декабря девяти мужчинам, которые сопровождали его туда. Он сказал им, что его конечным пунктом назначения является штат Вирджиния.12 Это, должно быть, стало для них шоком, и некоторые из них были настроены возразить, но гипнотическое красноречие Брауна покорило их.
На первый взгляд может показаться, что Браун ухватился за виргинский план как за отчаянную альтернативу, когда приключение в Канзасе подошло к неизбежному концу. Но при ближайшем рассмотрении становится ясно, что Аллегенские горы давно привлекали этого странного, замаскированного романтика. Канзас был лишь окольным путем на пути его судьбы. Судя по всему, возможность обосноваться в горах и оттуда начать освобождение рабов в Вирджинии была главной темой обсуждения во время его первой встречи с Фредериком Дугласом, самым известным негром Америки, в 1848 году. Кроме того, дочь Брауна, спустя полвека, утверждала, что план вторжения с гор свободно обсуждался в их доме еще в 1854 году.13 Браун собирал информацию о восстаниях рабов уже в 1855 году. Но нет никаких свидетельств о каких-либо четких планах или обязательствах до августа
В 1857 году, незадолго до своего возвращения в Канзас. В это время он рассказал своему соратнику, английскому солдату удачи Хью Форбсу, о плане вторжения в Виргинию и освобождения рабов, и Форбс поставил под сомнение осуществимость этого плана.14 Но Браун все равно продолжил реализацию своего проекта, и после ноября он предстал в виде грандиозного и революционного замысла, совершенно не похожего на его участие в домашних войнах в Канзасе. Ему снова нужны были деньги, и на этот раз это был проект, который нельзя было отстаивать перед законодательным собранием. Многие из тех, к кому он обращался ранее, были слишком мягкими, чтобы обращаться к ним по этому вопросу, и Браун презирал робость большинства аболиционистов, в любом случае. Но в Бостоне было несколько человек, которым, как ему казалось, можно было доверять. В январе он снова отправился на восток.
1858.
В начале февраля он раскрыл свой план Фредерику Дугласу, который был и рабом, и беглецом и реально понимал, о чем идет речь. Дуглас предостерег его от этого плана, но Браун поступил с ним так же, как и со всеми советами, - проигнорировал их.15 Позже в том же месяце в доме Геррита Смита в Питерборо, штат Нью-Йорк, он изложил Смиту и Франклину Сэнборну план кампании на территории рабовладельцев где-то к востоку от Аллегени, чтобы создать правительство, которое свергнет рабство. Сэнборн точно описал его как "удивительное предложение, отчаянное по своему характеру, совершенно неадекватное по предоставленным средствам" и, как он мог бы добавить, глубоко незаконное по своим целям. Смит и Сэнборн пытались убедить его отказаться от этой идеи, но когда он оказался непреклонен, они поддержали его, и, как он вскоре написал своей семье, "мистер Смит и семья идут со мной на все сто".16