Хабаров оставил в «Лавкаевом городке» около полусотни казаков и к концу мая 1650 года вернулся в Якутск. Он привез с собой карту – «Чертеж земли Даурской», переправленный в Москву вместе с отчетом о походе. Этот чертеж стал одним из основных источников при создании карт Сибири в ХVII веке. В Якутске Хабаров объявил набор «охочих людей», распуская всюду слухи о несметных богатствах Даурии. Нашлось 110 добровольцев, к ним Францбеков придал 27 «служилых» с тремя пушками.
Осенью 1650 года Хабаров с отрядом в 160 человек вернулся на Амур. Он нашел оставленный им отряд ниже по Амуру у стен даурской крепости Албазин, которую они пытались взять штурмом. Увидев приближение большого отряда русских, дауры бежали, но казаки нагнали их, и завязался бой, в котором хабаровцы захватили много пленных и большую добычу. Сделав Албазин своей базой, Хабаров совершал наезды на ближайщие даурские селения, брал заложников и пленных. Захваченных женщин казаки распределяли между собой.
Здесь Хабаров построил небольшую флотилию, и в июне 1651 года отряд начал плавание вниз по Амуру. Сначала казаки видели по берегам реки только поселки, сожженные и оставленные самими жителями, но через несколько дней подошли к хорошо укрепленному городку, где приготовился к обороне целый гарнизон дауров. После обстрела из пушек и пищалей казаки взяли крепость, убив до 600 человек. Несколько недель отряд Хабарова стоял в захваченном городке. Атаман рассылал во все стороны гонцов, которые убеждали соседних князьков добровольно признать власть русского царя и платить ясак. Однако дауры, будучи подданными Маньчжурии, не видели смысла платить подати ещё одной власти.
Флотилия Хабарова двинулась дальше вниз по реке, захватив с собой лошадей. Казаки снова видели брошенные селения и несжатые хлебные поля. Как сообщают «Очерки…», в августе ниже устья Зеи они без сопротивления заняли крепость, окружили соседнее селение и заставили его жителей признать себя подданными царя. Хабаров надеялся получить большую дань, но они принесли немного соболей, обещав осенью уплатить ясак полностью. Между даурами и казаками установились как будто мирные отношения. Но через несколько дней все окрестные дауры с семьями ушли, бросив жилища. Тогда Хабаров сжег крепость и продолжал путь вниз по Амуру.
От устья Буреи начинались земли, заселенные гогулями – народом, родственным маньчжурам. Они жили рассеянно, небольшими поселками и не могли противостоять казакам, высаживавшимся на берег и грабившим их. Слабое сопротивление оказали пашенные дючеры, истребившие ранее часть отряда Пояркова – хабаровские люди были многочисленнее и лучше вооружены.
В конце сентября экспедиция достигла земли нанайцев, и Хабаров остановился в их большом селении. Половину казаков он послал вверх по реке за рыбой. Тогда нанайцы, соединившись с дючерами, напали на русских, но потерпели поражение и отступили, потеряв убитыми более 100 человек. Потери казаков были ничтожны. Хабаров укрепил селение и остался там на зимовку. Отсюда, из Ачанского острожка, русские совершали набеги на нанайцев и собирали ясак. В марте 1652 года они разбили большой маньчжурский отряд (около 1000 человек), пытавшийся взять приступом острожек. Однако Хабаров понимал, что с его малочисленным войском нельзя овладеть страной, и весной, как только Амур вскрылся, он оставил Ачанский острожек и поплыл на судах против течения.
Выше устья Сунгари в июне Хабаров встретил на Амуре русскую вспомогательную партию и все-таки продолжал отступление, прослышав, что маньчжуры собрали против него шеститысячное войско. Он остановился только в начале августа у устья Зеи. Здесь группа «охочих людей» взбунтовалась и на трех судах бежала вниз по Амуру, захватив оружие и порох. Грабя и убивая дауров, дючеров и нанайцев, они добрались до Гиляцкой земли и поставили там острог, чтобы собирать ясак. Но Хабаров не терпел соперников. В сентябре он добрался по Амуру до Гиляцкой земли и обстрелял острог. Бунтовщики сдались при условии, что им сохранят жизнь и награбленную добычу. Хабаров выполнил условие частично – он приказал нещадно бить изменников батогами (многие были забиты до смерти), а всю их добычу взял себе.
Вторую зимовку на Амуре Хабаров провел в Гиляцкой земле, а весной 1653 года вернулся в Даурию, к устью Зеи. Летом его люди плавали вверх и вниз по Амуру, собирая ясак. Весь левый берег Амура опустел: по приказу маньчжурских властей жители перешли на правый берег. К этому времени царь послал на Амур трёхтысячное войско под командованием князя Лобанова-Ростовского. Но, опередив дружину, в августе 1653 года к Хабарову прибыл царский посланец Зиновьев. Он привез от царя награды участникам похода, в том числе и самому Хабарову, но отстранил его от руководства отрядом, а когда тот стал возражать, арестовал, избил и доставил в Москву. В дороге уполномоченный отнял у Хабарова все, что при нем было.
