«…Он был глубоко мирный человек, — пишет Светлана. — Мягкий, немного медлительный, очень спокойный, но внутренне твердый и убежденный. Он был похож на отца миндалевидным, кавказским разрезом глаз, и больше ничем… Больше он походил на свою мать… Это сходство бросается в глаза и на портретах. Очевидно, и характер достался ему от нее — он не был ни честолюбив, ни властолюбив, ни резок, ни одержим. Не было в нем противоречивых качеств, взаимоисключающих стремлений, не было в нем и каких-либо блестящих способностей. Он был скромен, прост, очень трудолюбив и трудоспособен и очаровательно спокоен».
После первого неудачного брака Яков долго не женился. Уже в середине 1930-х годов в Урюпинске, у родственников Аллилуевых, он познакомился с Ольгой Голышевой, которая в январе 1936 года родила от него сына Евгения. Однако за месяц до рождения ребенка его отец уже был женат на другой женщине — Юлии Мельцер. От этого брака в 1938 году родилась дочь Галина.
Однако у Сталина и без «пятого пункта» были причины, чтобы не прийти в восторг от брака своего старшего сына. Юля, на год старше Якова, была родом из Одессы, в молодости танцевала в кафешантане — радости от такого пункта в биографии мало, но это еще не криминал. Хуже было другое. Мария Сванидзе рассказывает о своей новой родственнице в дневнике: «Яша вторично вступил в брак с Юлией Исааковной Бессараб (фамилия приведена по ее последнему мужу. — Е. П.). Она хорошенькая женщина лет 30-32-х, кокетливая, говорит с апломбом глупости, читает романы, поставила себе целью уйти от мужа и сделать "карьеру", что и выполнила. Не знаю, как отнесется к этому Иосиф. Она живет уже у Яши, вещи пока у мужа. Яша у нее третий или четвертый муж… Конечно, она хорошая хозяйка, женщина, которая возьмет Яшу в руки и заставит его подтянуться и фигурировать, но если он будет подтягиваться за счет отца, то ее афера потерпит фиаско — а она, конечно, метит на это. Поглядим, что будет». Впрочем, Галина Джугашвили пишет, что вроде бы новая невестка сумела понравиться Сталину, который при знакомстве даже поднял первый тост в ее честь. Но рассказывает она это со слов своей матери, это тоже надо учесть.
Сталин хотел видеть сыновей военными. Он посоветовал Якову пойти в армию, и тот, хотя уже имел специальность инженера-энергетика, немедленно поступил в Московскую артиллерийскую академию. Сначала учился так себе, но к концу выправился, большинство госэкзаменов сдал на четверки, получил звание старшего лейтенанта и в мае 1941 года был назначен командиром батареи 14-го гаубичного артполка. Война для Якова Джугашвили началась 27 июня 1941 года. 4 июля полк попал в окружение, и вскоре он оказался в плену.