Снежные сугробы были теперь так глубоки, что людям приходилось по грудь в снегу пробивать путь верблюдам и артиллерии. Так как снег продолжал идти, а температура падала, их страдания все возрастали, подвергая запредельным испытаниям их силу и стойкость духа. «В таком холоде, — продолжает официальный отчет, — невозможно было стирать белье или поддерживать личную чистоту. Многие в течение всего похода не только не меняли пропотевшее белье, но и не снимали верхней одежды. Они были покрыты насекомыми, а тела пропитались грязью». Теперь серьезной проблемой стали болезни, все возрастающую жатву стала собирать цинга. А отряд не прошел еще и половины пути до Хивы.
К концу января стало совершенно ясно, что экспедиция движется навстречу гибели. От болезней умерло уже больше 200 человек, тогда как вдвое больше солдат были настолько больны, что не могли нести службу. Верблюды, от которых они так зависели, теперь погибали по 100 голов в день. Погода все ухудшалась, и казачьи разъезды докладывали, что впереди снег еще глубже, что делает почти невозможным поиск хоть какого-то топлива и фуража и снижает возможную скорость движения до нескольких миль в день, если не меньше. 29 января генерал Перовский объехал все колонны, чтобы самому убедиться, смогут ли люди и животные продержаться еще месяц — минимальное время, за которое они смогли бы достичь ближайшей из обитаемых частей Хивинского ханства. По единодушному мнению командиров колонн, чтобы избежать катастрофы, не может быть и речи о дальнейшем продвижении вперед. Из всего того, что он сам видел, Перовский понял, что они правы.
Для всех, но особенно для генерала, это был момент горького разочарования, если не унижения. В силу полнейшего невезения они выбрали для похода на Хиву самую плохую зиму, которую только могли припомнить степные жители. Если бы они выступили хоть немного раньше, то смогли бы избежать самого разгара ее ярости и благополучно добрались до богатых и защищенных оазисов Хивы. Если бы это случилось, они не только бы увидели врага, но и заставили бы его вступить с ними в сражение. 1 февраля 1840 года генерал отдал приказ измученным и сильно поредевшим колоннам повернуть обратно и двигаться на Оренбург. На то, чтобы забраться так далеко, им пришлось потратить большую часть из намеченных трех месяцев, и казалось маловероятным, что обратный путь потребует меньших усилий. Стараясь выглядеть как можно бодрее, Перовский сказал своим людям: «Товарищи! С самого начала нам пришлось бороться против самых жестоких препятствий и суровой зимы. Мы успешно одолели эти трудности, но были лишены удовлетворения встречи с врагом». Он заверил, что победа всего лишь откладывается и что «наш следующий поход будет удачнее ».
Но ближайшей задачей Перовского в тот момент было вывести свои войска из этой ужасной ситуации с наименьшими потерями в живой силе, не говоря уж о потере престижа. Ведь уже второй раз за последние сто с лишним лет военный поход русских на Хиву заканчивался поражением и унижением. Однако в официальном отчете сказано: «Было предпочтительнее уступить непреодолимым природным трудностям и немедленно отступить, чем дать противникам России повод ликовать по случаю мнимой победы». Тем не менее во время отступления эти трудности оказались не менее суровыми и опасными, чем при движении вперед. В дополнение к снежным сугробам и буранам, нехватке еды и болезням об их положении напоминали наводящие ужас остатки верблюжьих скелетов, наполовину объеденные волками и лисами. Издалека чуя трупный запах, стаи волков нападали на колонны, когда те останавливались на ночлег.
В сомнительных попытках остановить опустошительное действие цинги Перовский пытался, хотя и с немалыми трудностями, достать свежее мясо, считая, что основной причиной цинги является его отсутствие, так же как и отсутствие свежих овощей. К сожалению, не было ничего удивительного, что, «несмотря на эти превентивные меры, — как сообщает официальный отчет, — цинга не только не отступала, но и продолжала нарастать ». Это объяснялось общим нездоровьем людей и отвратительным состоянием их тел и одежды. Однако с наступлением марта произошло незначительное, но такое желанное улучшение погоды, хотя оно же привело к возникновению новой опасности — снежной слепоты. Многие солдаты, чьи глаза были ослаблены отсутствием витаминов, почувствовали себя совсем плохо от слепящего весеннего солнца, отражавшегося от снега. Даже импровизированные солнечные очки, сплетенные из конского волоса, лишь незначительно облегчали боль, которую еще усиливал едкий дым сырых веток, использовавшихся как топливо.