В 1832 году Джексона избрали на второй срок, и на следующий год он вновь выступил перед конгрессом с речью, полной самомнения. Он повторил уже заученную мантру о том, что у индейцев нет интеллекта, морали и желания меняться.
В 1835 году пришел черед маскогов-криков. Более 15 000 маскогов заставили сняться с насиженных мест и отправиться из Алабамы и Джорджии в резервацию Канейдиан-Ривер. Три с половиной тысячи человек умерли в пути. В этом же году семинолы отказались покидать Флориду. Началась Вторая Семинольская война, которая продлилась до 1842 года. В итоге в 1857-м семинолы были окончательно изгнаны со своих земель.
Джексон продолжил насильственные переселения и 29 декабря 1835 года заключил договор Нью Икоты. Согласно договору, чероки отдавали американцам свои территории к востоку от Миссисипи в обмен на $5 млн и земли в Оклахоме. Договор давал чероки два года на то, чтобы перебраться в Оклахому. Лишь ничтожная часть индейцев отправилась в путь добровольно.
Многие чероки чувствовали себя обманутыми и обвиняли своих вождей в том, что условия договора для них невыгодны. Более 16 000 чероки подписали петицию, в которой требовали расторгнуть договор. По приказу Джексона генерал Уинфилд Скотт и его армия летом 1838 года собрали 183 чероки и отправили их в лагерь для пленных к востоку от Теннесси. Индейцев поделили на группы и заставили идти в Оклахому пешком. Скотт прославился своей жестокостью по отношению к индейцам. В пути на чероки нападали бандитские шайки, они столкнулись с жестоким климатом, проливными дождями, снегом и морозом. В пути погибли 5000 индейцев.
За семь лет 100 000 представителей коренных народов были изгнаны с мест, где жили их предки. «Дорога слез» погубила 15 000 человек — они умерли от голода и болезней.
В последний день своего президентского срока, 3 марта 1837 года, Джексон признался, что жалеет лишь о двух вещах: о том, что не застрелил Генри Клея и не смог повесить Джона К. Кэлхуна. О судьбе индейцев он не обмолвился ни словом. Вице-президента Кэлхуна Джексон ненавидел с тех пор, как узнал, что тот был против нападения на Флориду в 1818 году. Джексон считал это предательством. Нелюбовь к Генри Клею, бывшему председателю Комитета по международным отношениям при президенте Адамсе, имела свою подоплеку. Генри Клей был одним из политических противников Джексона, который поддерживал Банк Соединенных Штатов. В свою очередь, Джексон не верил в национальную банковскую систему. По его мнению, государство могло получать доходы, продавая гражданам земли, отобранные у коренного населения. Джексон отказался финансировать Банк Соединенных Штатов, что привело к его ликвидации. Это сильно повлияло на экономику страны, и Джексон обвинял в неудачах Генри Клея и руководителя банка Николаса Биддла: тот был мстительным человеком и использовал национальные деньги в своих кампаниях против Джексона. В свою очередь, Генри Клей подослал к Джексону сумасшедшего, который пытался убить президента.
Насколько известно, Джексон ни разу не признал, что хоть в чем-то ошибался. В конце жизни он покинул общество и поселился на плантации «Эрмитаж», где и провел последние годы. На смертном одре он «великодушно» заявил о том, что прощает своих врагов. Он умер 8 июня 1845 года в возрасте 78 лет.
Джексон был женат на Рэйчел Донельсон, однако, став президентом, вскоре овдовел. У него было трое приемных сыновей, двое из которых были индейцами. По свидетельствам очевидцев, Джексон хорошо обращался со своими рабами, однако в завещании он не освободил ни одного из них. Официально рабство было запрещено в США в 1865 году.
В 2004 году сенатор от Канзаса Сэм Браунбэк принес официальные извинения всем индейским племенам за горе и страдания, причиненные им США. Пять лет спустя, 19 декабря 2009 года, президент Барак Обама подписал так называемую Резолюцию извинения перед коренными народами.
Память о Джексоне до сих пор омрачена тем, как он поступил с индейцами. Чероки зовут его «убийцей индейцев». Как писала газета
Монумент Чаке в Квадукузе (бывший Стейнджер), провинция в Квазулу-Натал, Южная Африка. Аэропорт в крупном городе Дурбане носит название Международный аэропорт имени короля Чаки.
