Образование Альфред Йодль получил в Баварском кадетском корпусе, после окончания которого 10 июля 1910 года, продолжая семейную традицию, был зачислен в звании фенриха (прапорщика) в 4-й Королевский Баварский полевой Его Величества артиллерийский полк. Пройдя офицерскую подготовку в Мюнхенском военном училище и Баварской стрелковой школе, он 28 октября 1912 года получил свое первое офицерское звание лейтенанта. В сентябре следующего года он вступил в брак с графиней Ирмой фон Буллион (1885–1944) – невеста была на пять лет старше жениха, и тому пришлось выдержать настоящий бой с ее отцом, вполне закономерно считавшим подобный брак мезальянсом. Тем не менее свадьба состоялась, притом брак был на редкость удачным – супруги до конца жизни преданно любили друг друга.
С началом Первой мировой войны Йодль со своим полком отправился на Западный фронт, во время боев в Сааре командовал артиллерийским взводом и уже 24 августа получил первое ранение – осколком гранаты в верхнюю часть бедра. Он был отправлен в госпиталь и только 10 марта 1915 года вернулся в войска и был зачислен в 19-й Королевский Баварский полевой артиллерийский полк. Однако 1 мая он заболел и был отправлен на лечение с переводом в запасной дивизион 4-го Королевского Баварского полевого артиллерийского полка. После выздоровления он был переведен на Восточный фронт и 1 декабря 1916-го принял командование батареей 19-го Королевского Баварского полевого артиллерийского полка. С 1 января по 1 апреля 1917 года Йодль был откомандирован в австро-венгерскую армию, где командовал 3-й батареей 72-го гонведского (венгерского) полевого пушечного полка. Затем он вернулся в баварскую армию, приняв батарею 10-го Королевского Баварского полевого артиллерийского полка. Наконец, 26 мая 1917 года он был назначен адъютантом сражавшегося на Западном фронте 19-го Королевского Баварского полевого артиллерийского полка, а 12 декабря – 8-го баварского артиллерийского командования. Закончил Йодль войну обер-лейтенантом (произведен 14 января 1916 года) и кавалером Железного креста 1-го и 2-го класса, а также баварского ордена Военных заслуг 4-го класса с мечами и австрийским Крестом за военные заслуги 3-го класса с военными украшениями.
После перемирия, а затем и демобилизации армии Йодль был оставлен на военной службе. Сначала 23 декабря 1918 года он был зачислен в свой «изначальный» 4-й Баварский артиллерийский полк, с 1 февраля по 15 июля 1919 года командовал батарей народной обороны «Аугсбург», а затем возглавил батарею 22-го легкого артиллерийского полка временного рейхсвера. Наконец, уже после сокращения армии, 1 октября Йодль был назначен в 21-й артиллерийский полк рейхсвера. С 15 октября 1920 года командовал зенитной батареей 4-го автотранспортного батальона. 3 января 1921-го был направлен на учебу на секретные 1-е курсы офицеров Генштаба при штабе 7-й пехотной дивизии (Мюнхен), которые окончил 1 октября 1922 года. Во время учебы он был произведен в ротмистры (28 сентября 1921 года), а в мае – июне 1922-го проходил стажировку в 7-м автотранспортном батальоне. 1 октября 1922 года он принял командование 4-й горной батареей 7-го горноартиллерийского полка (Ландсберг-на-Лехе).
Начальство ценило распорядительного и талантливого офицера, отмечая, что он, как человек «думающий, решительный, энергичный, с хорошей физической подготовкой, прирожденный лидер является подходящей кандидатурой на замещение высших командных постов». Его явно оценивали не как обычного артиллерийского офицера, а как человека, который может быть использован на службе на должностях Генштаба. В связи с этим 1 октября 1923 года он был откомандирован на год на учебу в Берлинский университет, а фактически на 2-е курсы офицеров Генштаба. По окончании учебы Йодль 1 октября 1924 года приступил к исполнению обязанностей 3-го офицера Генштаба (начальника отдела разведки и контрразведки) в штабе все той же 7-й дивизии. 1 октября 1927-го он был направлен на стажировку в войска – командиром 5-й батареи 7-го горноартиллерийского полка, а 1 октября следующего года приступил к обязанностям преподавателя тактики и военной истории на секретных курсах офицеров Генштаба при штабе 7-й дивизии.
1 июня 1932 года майор Йодль (в этот чин он был произведен 1 февраля 1931 года) был переведен в Военное министерство, и с этого момента практически вся его дальнейшая карьера была связана с работой генштабиста. 1 июня того же года он возглавил группу Оперативного отдела Войскового управления – под этим названием скрывался германский Генштаб, который по условиям Версальского мира Германии иметь категорически запрещалось. Его успехи были оценены, и 1 октября 1933 года он получил звание подполковника. В ноябре 1934-го Йодль был отправлен в Турцию, где полгода служил инструктором, а 21 мая 1935 года вернулся к своим обязанностям в Военном министерстве.