К Вене отступили остатки разбитых соединений противника, которые быстро были переформированы в боевые единицы. Туда были направлены резервы. Немецкое командование стремилось во что бы то ни стало удержать Вену с тем, чтобы не допустить продвижение советских войск в южные районы Германии. Всего в районе Вены неприятелю удалось сосредоточить до восьми расчетных дивизий. Основные силы этих войск прикрывали подступы к городу с юга, где имелось большое количество противотанковых средств, инженерных заграждений и других искусственных и природных препятствий. На улицах города сооружались баррикады. Для борьбы с советскими танками была приспособлена зенитная артиллерия и заранее устроены многочисленные танковые засады.
Советское командование приняло решение бросить на Вену с юга 4-ю гвардейскую армию и 1-й гвардейский механизированный корпус 3-го Украинского фронта, с юго-запада – 6-ю гвардейскую танковую армию и 39-й гвардейский стрелковый корпус. Действия наземных войск с воздуха должна была поддержать фронтовая авиация и часть авиации ВГК. Также туда были направлены боевые катера и другие суда Дунайской речной флотилии. Остальные войска должны были продолжать наступление в восточные районы Австрии. Таким образом, по общей обстановке на советско-германском фронте и соотношению сил и средств судьба немецких войск, находившихся в Вене, практически заранее была предрешена. В то же время командующий венским гарнизоном упорно продолжал отклонять предложения о добровольной капитуляции.
В штабе 3-го Украинского фронта также не было единодушного мнения в отношении необходимости штурма Вены. Ряд генералов и офицеров считали, что Вена представляет собой исторический памятник общечеловеческого значения, и в связи с близким окончанием войны достаточно ограничиться установлением ее полной блокады, без разрушения огнем артиллерии и ударами авиации. Но Москва требовала самых решительных действий.
5 апреля советские войска без оперативной паузы начали наступление на Вену. На южной окраине города они встретили упорное сопротивление противника и успеха в первый день не добились.
Юго-западнее Вены оборона немецких войск оказалась менее сильной. Наступавшие там части 38-го гвардейского стрелкового корпуса за день боя продвинулись на 16–18 километров и практически вышли к окраинам города. Командующий фронтом решил немедленно использовать достигнутый успех. В течение ночи туда перегруппировалась 6-я гвардейская танковая армия, которая также получила задачу обойти Вену с запада и северо-запада.
6 апреля соединения 4-й гвардейской армии усилили натиск на противника и ворвались на южную окраину города. Начались уличные бои, которые сразу же приобрели очень ожесточенный характер. Противник, заранее подготовивший для обороны практически все сооружения, имевшие значение в тактическом плане, упорно оборонял каждый дом, а будучи не в состоянии держаться скрытно уходил в другой, также подготовленный для обороны.
В этих условиях особое значение имели согласованные действия стрелковых подразделений, танковых экипажей, орудийных расчетов и саперов, составлявших основу штурмовых отрядов и штурмовых групп. Каждый дом, не то что каждый квартал, приходилось брать штурмом. Артиллеристы были вынуждены на руках втаскивать орудия на вторые этажи домов, в проломы стен и вести оттуда огонь прямой наводкой. Нередко возникала необходимость стрелять из орудий по наклонной траектории, к чему оказались не готовы многие из расчетов. Танкисты встретили огонь вражеских истребителей танков, вооруженных фауст-патронами, которые неожиданно появлялись на их пути, стреляли с фланга или даже с тыла. Пехотинцам приходилось наступать через минные поля, разбирая баррикады, преодолевая завалы и участки, прикрытые колючей проволокой.
7 апреля соединения 6-й гвардейской танковой армии обошли Вену с запада и северо-запада, а затем устремились в центр города, сметая на своем пути многочисленные огневые точки и очаги сопротивления противника. 8 апреля передовые танковые части, сопровождавшиеся пехотой, достигли центра города, где соединились с войсками 4-й гвардейской армии. Венская группировка противника оказалась расчлененной и зажатой с трех сторон.
Немецкое командование поняло, что дальнейшая оборона Вены обречена на неудачу, и решило осуществить прорыв оставшихся войск из города. В руках противника оставался всего лишь один мост через Дунай, который можно было использовать для отступления в северо-западном направлении. Немецкое командование стремилось любой ценой сохранить и удержать этот мост, тем более что соединения 46-й армии запаздывали с выходом к Вене с северо-востока.
