Военную службу начал в 1895 году юнкером 4-го баварского артиллерийского полка. В 1897 году произведен в офицеры. Затем закончил военное училище (1899) и в 1900 году отправился в Китай, где принял участие в подавлении Ихэтуаньского восстания 1898—1901 годов. По возвращении в Германию продолжил службу в своем артиллерийском полку, обер-лейтенант (1905). В 1909 году окончил Баварскую военную академию в Мюнхене, а в 1911 году — Академию Генерального штаба в Берлине. В чине капитана был направлен для прохождения службы в военное артиллерийское училище. В 1912—1913 годах командовал артиллерийской батареей, затем служил в штабе баварской артиллерии. Участник Первой мировой войны на Западном, Восточном, Балканском и Румынском фронтах. В 1914—1916 годах сражался на Западном фронте, офицер Генерального штаба при 11-й баварской пехотной дивизии. В 1916 году его дивизия была переброшена на Восточный фронт, участвовала в боевых действиях в Галиции, затем — в Сербии и Румынии, майор (1916). За боевые отличия отмечен несколькими наградами. В мае 1919 года возвратился на Западный фронт в качестве офицера Генерального штаба при штабе группы армий кронпринца Рупрехта Баварского, где и находился до конца войны. В 1919 году вступил в Добровольческий корпус полковника Ф. фон Эппа, в рядах которого участвовал в подавлении революции в Баварии.
После демобилизации кайзеровской армии оставлен служить в рейхсвере, начальник отдела Военного министерства (октябрь 1919 года). В 1920 году назначен начальником штаба 7-го военного округа (Мюнхен), подполковник (1924). В 1924—1926 годах командир артиллерийского дивизиона (обязательная 2-годичная стажировка для офицеров Генштаба). В 1926 году назначен командиром 7-го артиллерийского полка и произведен в полковники. С 1928 года начальник артиллерии 5-й пехотной дивизии, затем — 7-й пехотной дивизии, генерал-майор (1928). В 1929 году назначен командиром 7-й пехотной дивизии и произведен в генерал-лейтенанты. В 1930 году стал командующим 7-м военным округом.
Приход к власти нацистов (январь 1933 года) встретил отрицательно. Как глубоко верующий католик вместе со своей семьей открыто посещал костел и не скрывал свое неприятие нового режима. Такое поведение Лееба вызвало подозрение нацистского руководства, он удостоился сомнительной чести стать одним из первых генералов германской армии, за которыми гестапо установило слежку. Однако принять более действенных мер против Лееба нацисты пока не могли, т. к. свой полный контроль над армией они установили только в 1938 году. Поэтому продвижение Лееба по службе продолжалось. В октябре 1933 года он был назначен командующим 2-й армейской группой (Кассель), в состав которой входили 5-й (Штутгарт), 6-й (Мюнстер), 7-й (Мюнхен) военные округа, а также пограничные войска. Одновременно Лееб получил чин генерала артиллерии. Затем в состав 2-й армейской группы были включены 9-й (Кассель) и 12-й (Висбаден) военные округа, а 7-й поенный округ был изъят. Всего 2-я армейская группа в 1937 году насчитывала 11 дивизий.
В германской армии 1930-х годов Лееб приобрел известность как крупный специалист по обороне. Ряд работ по военной тематике и особенно опубликованный в 1934 году военно-теоретической труд «Оборона» создали ему высокий авторитет в военных кругах не только в Германии, но и во многих европейских государствах. Однако это не спасло его от преследований нацистов. Во время так называемой «генеральской чистки», осуществленной в начале 1938 года новым главнокомандующим германской армии Браухичем по прямому указанию Гитлера, Лееб был уволен в отставку в числе других генералов старой школы одним из первых (февраль 1938 года). Правда, неожиданное увольнение из армии было смягчено присвоением ему очередного воинского звания — генерал-полковника. Накануне Судетского кризиса Лееб вновь был призван на военную службу и назначен командующим вновь сформированной 12-й армии, во главе которой участвовал в оккупации Судетской области и Чехословакии. Но затем снова вышел в отставку.
