Военную службу начал в 1990 года юнкером 2-го баварского кавалерийского полка. В 1902 году окончил военное училище и был произведен в офицеры (младший лейтенант), полковой адъюнкт (с 1908), затем офицер штаба кавалерийской школы. В 1911 году окончил Военную академию и в чине обер-лейтенанта продолжал службу в кавалерии, ротмистр (1914). Участник Первой мировой войны на Западном фронте, последовательно занимал должности: адъютант командира кавалерийской бригады (1914—1915), офицер Генерального штаба при 5-й пехотной дивизии (1915—1917) и 2-м армейском корпусе (1917—1918).
После демобилизации кайзеровской армии в числе других 4 тыс. офицеров был принят на службу в рейхсвер и назначен в штаб 3-й кавалерийской дивизии (Веймар). В 1922—1925 годах командир эскадрона 18-го кавалерийского полка, майор (1923). Затем 2 года служил в военном (пехотном) училище. В 1927 году назначен заместителем командира 18-го кавалерийского полка, подполковник (1928). В 1928—1930 годах командир 18-го кавалерийского полка, полковник (1930). В дальнейшем состоял офицером Генерального штаба при 1-й кавалерийской дивизии (Франкфурт-на-Одере).
Когда к власти в Германии пришли нацисты (январь 1933 года), Вейхс служил в штабе 2-й армейской группы (генерал В. фон Лееб) в Касселе. С этого времени начинается его быстрое продвижение по службе. Уже в феврале 1933 года Вейхс назначается заместителем командира 3-й пехотной дивизии (Берлин), в апреле произведен в генерал-майоры, а в декабре 1933 года сбывается предел его желаний — он получает должность командира 3-й кавалерийской дивизии (Веймар). В 1935 году его дивизия была расформирована, а сам Вейхс произведен в генерал-лейтенанты и назначен командиром 1-й танковой дивизии в том же Веймаре. В 1936 году исполнял обязанности командующего 7-м военным округом, генерал кавалерии. В 1937 году назначен командующим вновь образованным 13-м военным округом (Нюрнберг). Участвовал в оккупации Судетской области и Чехословакии, в Польской кампании 1939 года, в ходе которой командовал 13-м армейским корпусом, сформированным на базе 13-го военного округа и входившим в состав 8-й армии (генерал И. Бласковиц). Возглавляемый Вейхсом корпус с отличием участвовал в боях в районах Познани, Лодзи, Кутно и Варшавы. Именно его умелые и решительные действия сыграли решающую роль в капитуляции Варшавы. После завершения Польской кампании сменил генерала Бласковица на посту командующего 8-й армией (октябрь 1939 года), переброшенной на Западный фронт и переименованной во 2-ю армию.
Во время Французской кампании 1940 года отличиться Вейхсу не пришлось. Его армия находилась в резерве группы армий «А» и активного участия в боевых действиях не принимала. Лишь на завершающем этапе кампании, когда сопротивление французской армии было уже сломлено, 2-я армия была использована для оккупации территории Франции. Тем не менее заслуги Вейхса перед Третьим рейхом в 1939—1940 годах были высоко оценены Гитлером. После разгрома Франции он был награжден Рыцарским крестом и произведен в генерал-полковники (1940). Затем Вейхс командовал войсками в Южной Германии и Чехии (штаб — г. Мюнхен).
Весной 1941 года командовал 2-й армией во время Балканской кампании 1941 года. Войска Вейхса вторглись в Югославию с севера, с территории Австрии и Венгрии. Оборона югославов в приграничном районе была прорвана в 1-й же день (6 апреля). Уже 10 апреля войска 2-й армии овладели г. Загреб, 13 апреля соединились в районе Белграда с наступавшими из Болгарии войсками 12-й армии и во взаимодействии с ними овладели югославской столицей. 15 апреля они принудили в районе Сараево к капитуляции 2-ю югославскую армию. Вейхс вел переговоры о перемирии с югославским командованием, которые завершились капитуляцией Югославии (17 апреля 1941 года). Разгром Югославии немецко-фашистскими войсками был осуществлен всего за 12 дней. В ходе этой молниеносной кампании югославская армия потеряла только пленными свыше 250 тыс. чел. Потери же немецкой 2-й армии составили немногим более 500 человек, из них 151 — убитыми.
