Чалмерс сам принял командование лоскутной дивизией, состоящей из бригады Маккалоха из его собственного командования и бригады Белла из командования Бьюфорда, а затем направил эти силы из Джексона и Браунсвилла в сторону форта Пиллоу. В Браунсвилле в 2 часа дня 11 апреля Чалмерса нагнал Форрест и приказал двигаться форсированным маршем, чтобы достичь форта Пиллоу как можно раньше на следующий день. Чалмерс выполнил приказ, проскакав тридцать восемь миль под промокшим дождем. Его передовые отряды под командованием Маккалоха достигли места назначения еще до рассвета и захватили большую часть пикетов форта. Последующие подразделения занялись укреплением форта, и при свете дня конфедераты пошли в атаку.
На вершине отвесной скалы высотой более 300 футов, защищенной по всему фронту ущельями, форт Пиллоу с 580 черно-белыми федералами подвергается внезапному нападению 1500 солдат Форреста. Маккалох пробивается на север мимо конной стоянки, Белл нажимает с востока, а отряды под командованием Барто и Андерсона отправляются к воде, чтобы отразить атаки федеральных канонерских лодок. После отказа союзного гарнизона сдаться эти отряды преграждают путь федералам, бегущим вниз по обрыву после наступления конфедератов. Канонерская лодка "Новая Эра", капитан которой согласился помочь федералам канистрами, в решающий момент уплывает.
Форт Пиллоу, расположенный рядом с деревушкой и достаточно узким участком русла реки Миссисипи, чтобы с него можно было вести огонь из мушкета, был построен в 1862 году Гидеоном Пиллоу, но он оказался слишком большим для полноценного использования большинством расквартированных здесь войск, как Конфедерации, так и Союза. Он имел три линии укреплений: длинные парапеты в 600 и 300 ярдов перед небольшим центральным сооружением, огибающим его с трех сторон. Этот центральный опорный пункт, в котором находились не только федеральные войска, но и несколько десятков гражданских лиц обеих рас и полов, симпатизирующих Союзу, располагался на отвесной скале, резко обрывающейся к реке. Однако он не был неприступным. Утром 12 апреля федеральные войска оставили вторую из двух линий внешних парапетов и отступили сначала на возвышенность, а затем на более короткую линию только что вырытых траншей, защищавших три ряда бараков, занятых кавалеристами Союза. Люди Маккалоха и другие прибывающие конфедераты постепенно овладевали точками во внешних укреплениях, которые были выше стен центрального форта, - отличными местами для снайперов. Вскоре в 300 с лишним ярдах перед бараками войска Маккалоха продвинулись под прикрытием оврага и стали угрожать загону федеральных лошадей, за которыми пришел Форрест. Первый сержант Генри Ф. Уивер из роты С шестой тяжелой артиллерии США (цветной), командовавший батареей на южном конце форта сразу после рассвета, доложил, что "вел огонь по наступающему противнику, когда тот появлялся в поле зрения". Тем временем рота B Тринадцатой Теннессийской кавалерии оставила свой лагерь "на холме перед нашим главным фортом и в беспорядке вернулась назад, оставив своих лошадей и все свое лагерное снаряжение". Вскоре мятежники начали прогонять лошадей....".27
Люди Маккалоха наступали с юга, получив приказ подойти как можно ближе к реке и ядру крепости, в то время как бригада Белла применила излюбленную тактику Форреста - одновременный разворот, чтобы зайти сбоку и с тыла: то есть с востока и северо-востока, к месту впадения в Миссисипи разбухшего ручья Коул (или Колд, как он теперь обычно пишется) примерно в пятидесяти ярдах к северу от форта. Северная часть объекта, как "понимали конфедераты", была очень слабой и уязвимой, но "достижение реки по ручью Коал было признано неосуществимым, и пришлось разрабатывать новый план атаки". Такова была ситуация около полудня, когда Форрест, проскакав семьдесят две мили за двадцать семь часов, достиг поля боя и когда, по случайному совпадению, федеральный майор Бут, прогуливавшийся возле одного из батарейных портов форта, подбадривая свой гарнизон, был ранен в грудь и убит пулей конфедератов. Ничего не зная о смерти Бута, Форрест приказал конфедератам открыть огонь из любого укрытия, которое только можно было найти. Затем он начал личную разведку, настолько интенсивную, что под ним была убита лошадь, первая из двух в тот день; эта лошадь умирала так неистово, что взвилась на дыбы и упала на своего всадника, сильно ушибив его. Огонь федералов стал настолько сильным, что капитан Чарльз У. Андерсон, исполняющий обязанности генерал-адъютанта, предложил Форресту сняться с места и провести остаток разведки пешком. Он ответил отказом, заявив, что "в него могут попасть как с одной, так и с другой стороны, и... он лучше видит", сидя на лошади.28