Смерть первого мужа Юлии опять-таки связывают со злой волей жены Августа Ливии Друзиллы, которая боялась продвижения Марцелла к власти, стремясь возвести на престол своего сына. Вторым мужем Юлии стал друг императора Марк Випсаний Агриппа, которому было уже за сорок. Марк Агриппа — человек незнатного происхождения, сумевший нажить огромное состояние. Его владения были в Сицилии и даже в Херсонесе Фракийском. Блестящий полководец, он добился побед почти во всех сражениях войск Августа, который сам не любил участвовать в военных кампаниях.
До брака с Юлией Марк был женат на племяннице Августа — Марцелле. Август уговорил сестру уступить ей зятя. В браке с Марком Агриппой Юлия прожила 9 лет и родила пятерых детей. Разница в возрасте и интересах способствовала росту непонимания в семье. Темпераментная и импульсивная Юлия не могла мириться со степенным Марком. И, как отмечает историк Тацит в своих «Анналах», Юлия, будучи в браке с Агриппой, была соблазнена «злоязычным» красавцем поэтом Сем-пронием Гракхом. Находясь в связи с Семпронием, Юлия стремилась соблазнить своего сводного брата Тиберия, сына Ливии от первого брака. Однако ее попытки оказались напрасными.
В 12 году до н. э. Марк Агриппа скончался. Август снова занялся брачными делами дочери и на сей раз выдал ее замуж за Тиберия, любви которого так домогалась Юлия еще при жизни Агриппы. Тиберий до брака с Юлией был женат на дочери Марка Агриппы — Випса-нии, от которой имел сына и которая ждала второго ребенка. Светоний Транквилл пишет, что развод с женой Тиберий переживал с безмерной душевной мукой, тосковал по ней. Поэтому и отношения с Юлией не сложились — Тиберий возненавидел ее. Юлия стремилась всячески унизить мужа, она не только попрекала его незнатным происхождением, но снова сошлась с бывшим любовником Семпронием Гракхом. Коварный любовник, как пишет Тацит, разжигал в ней своенравие и ненависть к мужу; считали, что письмо с нападками на Тиберия, которое Юлия написала своему отцу Августу, было сочинено Гракхом. Брак Тиберия с распутницей Юлией не мог быть счастливым. Он постоянно вспоминал счастливые часы, проведенные в браке с первой женой. Женившись по воле императора, он не мог терпеть скандальных выходок разнузданной Юлии и по собственной воле уехал на остров Родос в Эгейском море.
Очень скоро и Семпроний Гракх жестоко поплатился за свою страсть к августейшей особе. За любовные похождения с его дочерью Август сослал незадачливого любовника на остров Керкиру в Адриатическом море, где он прожил в изгнании 14 лет, а затем был умерщвлен по приказу Тиберия.
Отношения между отцом и дочерью были испорчены окончательно. Юлия не могла простить Августу свои браки, которые всегда совершались против ее воли. Этот протест выражался в ее дерзком, вызывающем поведении. Публичные оргии, устраиваемые ею на форуме, многочисленные любовники, самый дикий разгул и необузданность вызывали в Риме массу сплетен и кривотолков, что наносило авторитету Августа огромный урон.
Доведенный до отчаяния, отец расторг брак Юлии с Тиберием и сослал свою распутную дочь на остров Пандатерию в Тирренском море. В ссылку Юлию сопровождала ее мать Скрибония. Наказание было поистине суровым. Дочь лишалась ежегодного содержания. Тацит отмечал, что «ссыльную, обесславленную, лишенную всякой надежды дочь Август довел до смерти лишениями и медленным истощением, полагая, что за долговременностью ссылки смерть эта останется незамеченной». Император запретил ссыльной Юлии давать вино и лишил ее малейших удобств. К ней без его ведома не допускались ни рабы, ни свободные. Ему с точностью доносили, кто жаждет встречи с Юлией, какого он возраста, роста и даже какие у него телесные приметы. Только после пятилетней ссылки Август разрешил перевеете Юлию на материк и немного смягчил условия ссылки. О прощении не было и речи. Как-то, узнав, что одна из соучастниц оргий дочери — вольноотпущенница Феба покончила жизнь самоубийством, Август воскликнул: «О, если бы у меня была дочь Феба, а не Юлия». Юлия Старшая умерла вскоре после смерти отца в 14 году.
Тяжкое наказание понесли и все любовники Юлии. Юл Антоний, самый молодой из них, за нанесение оскорбления дому императора был казнен. Римские аристократы Семпроний Гракх, Клавдий Пульхр и Корнелий Сципион были сосланы на острова.
